www.farmanager.com

Защита от ботов: как FarManager борется с агрессивным парсингом

Вы когда нибудь задумывались почему некоторые сайты вдруг показывают странную страницу с надписью Проверяем, что вы не бот!? Именно это сейчас происходит на www.farmanager.com. Сайт работает корректно но требует от посетителя пройти небольшую проверку. Это не ошибка и не то что домен истек или продается. Просто администратор настроил систему защиты под названием Anubis.

Что такое Anubis? Это компромисс между доступностью и безопасностью. Система использует Proof-of-Work похожую на Hashcash. Идея проста: для одного человека нагрузка незаметна но если кто то пытается скопировать все данные массово используя ИИ то это становится очень дорого и медленно. Сложность проверки сейчас равна 2 а скорость 0kHs. Вы видите это потому что сервер защищен от атак которые агрессивно копируют контент.

Почему это важно? Потому что компании занимающиеся разработкой искусственного интеллекта изменили моральные правила касающиеся хостинга. Без таких мер сайты могут зависнуть и стать недоступными для всех легитимных пользователей. Anubis - это временное решение чтобы уделить больше времени на снятие отпечатков безголовых браузеров. Например по тому как они рисуют шрифты. В будущем страница с доказательством работы может не требоваться для тех кто скорее всего настоящий человек.

Важный нюанс: Anubis требует современных функций JavaScript. Если у вас стоят плагины типа JShelter их нужно отключить для этого домена иначе проверка не пройдет. К сожалению решение без использования JS пока находится в стадии разработки. На сайте запущена версия Anubis 1.23.1. Проект сделан с любовью из Канады дизайн маскота тоже есть.

• name: viewport content: width=device-width, initial-scale=1.0
• name: robots content: noindex,nofollow

• Anubis
• Techaro
• CELPHASE

            Domain Name: FARMANAGER.COM
Registrar: Gandi SAS
Domain Status: client transfer prohibited
Creation Date: 2002-01-15T21:45:00Z
Registry Expiry Date: 2032-01-15T21:45:00Z
Updated Date: 2025-02-18T10:08:49Z
Name Server: NS0.CABEL.NET
Name Server: NS1.CABEL.NET
REGISTRAR Contact: Gandi SAS
>>> Last update of RDAP database: 2026-02-11T05:07:51Z         

			User-agent: AdIdxBot
User-agent: AhrefsBot
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: BLEXBot
User-agent: Buck
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: coccocbot
User-agent: DotBot
User-agent: Gemini-Deep-Research
User-agent: Google-Extended
User-agent: GPTBot
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: OAI-SearchBot
User-agent: Sogou web spider
User-agent: Thinkbot
User-agent: TikTokSpider
User-Agent: trendictionbot
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: zoominfobot
Disallow: /

User-agent: *
Disallow: /files.php
Disallow: /nightly.php
Disallow: /app.php
Disallow: /ucp.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /viewonline.php
Disallow: /posting.php
Disallow: /profile.php
Disallow: /enforum/app.php
Disallow: /enforum/ucp.php
Disallow: /enforum/search.php
Disallow: /enforum/memberlist.php
Disallow: /enforum/viewonline.php
Disallow: /enforum/posting.php
Disallow: /enforum/profile.php
Disallow: /view_all_set.php
Disallow: /view_all_bug_page.php
        

Référencement technique

Référencement sur la page

Contenu et UX