LinuxTV.org: Защита от автоматизированного скрапинга с помощью технологии Anubis

LinuxTV.org — это веб-ресурс, посвящённый тематике Linux и открытых технологий, который активно защищает свои ресурсы от массового сбора данных со стороны искусственного интеллекта и автоскриптеров. Сайт использует передовую систему защиты под названием Anubis, разработанную командой Techaro, чтобы противостоять злоупотреблениям со стороны компаний, которые без согласия извлекают контент с сайтов для обучения своих моделей ИИ.

Зачем нужен этот экран?

На главной странице сайта отображается сообщение: "Making sure you're not a bot!" (Проверяем, что вы не бот). Это не ошибка, а часть защитной системы. Владельцы сайта осознанно ввели этот этап проверки, чтобы предотвратить использование их серверов для сбора данных с помощью автоматизированных программ. В современных условиях такие скраперы становятся серьёзной угрозой — они могут вызывать перегрузку серверов и приводить к временным сбоям доступа для обычных пользователей.

Как работает Anubis?

Anubis — это система на основе Proof-of-Work (доказательства работы), вдохновлённая классической идеей Hashcash, изначально предложенной для борьбы со спамом в электронной почте. Принцип прост: каждый запрос с устройства пользователя требует выполнения небольшого вычислительного задания. Для одного человека это занимает доли секунды и практически незаметно. Однако при массовом использовании — например, при сканировании тысяч сайтов — стоимость таких действий становится слишком высокой, что делает автоматизированный сбор данных экономически невыгодным.

Такая мера является компромиссом: она позволяет сохранить доступность сайта для настоящих пользователей, одновременно наказывая злоупотребляющих системами-скраперами. Система Anubis активна на версии 1.19.1 и продолжает развиваться, чтобы стать всё более точной в распознавании легитимных посетителей.

Что нужно сделать, чтобы пройти проверку?

Для прохождения проверки необходимо включить JavaScript. Это требование обусловлено тем, что современные технологии защиты, такие как Anubis, используют сложные скрипты для генерации и проверки доказательств работы. Браузерные плагины, которые блокируют JavaScript (например, JShelter), могут помешать прохождению проверки. Поэтому сайт рекомендует временно отключить такие расширения для домена linuxtv.org.

Сайт подчёркивает, что отказ от JavaScript-решений — не выбор, а вынужденная мера. В условиях, когда ИИ-компании изменили социальный договор вокруг веб-хостинга (сбор данных без согласия), разработчики вынуждены использовать технические решения, которые раньше считались неприемлемыми для обычного пользователя.

О проекте и команде

Anubis разработан компанией Techaro, которая активно работает над созданием устойчивых решений против автоматизированного скрапинга. Проект реализован с любовью — это отражено в строке: "Made with ❤️ in 🇨🇦". Маскот сайта был создан художником CELPHASE, добавившим уникальный визуальный стиль к цифровому опыту посетителей.

Технический статус сайта

Несмотря на наличие защитной страницы, сайт linuxtv.org функционирует корректно и не является заглушкой, неиспользуемым доменом или временной ошибкой. Он активен, защищён и выполняет свою основную задачу — предоставление информации о Linux-технологиях при сохранении устойчивости серверов к внешним угрозам.

Контактные данные:

• Проект: Anubis
• Разработчик: Techaro
• Дизайн маскота: CELPHASE

• name: viewport content: width=device-width, initial-scale=1.0
• name: robots content: noindex,nofollow

• Don't click me

• Anubis
• Techaro
• CELPHASE

            Domain Name: LINUXTV.ORG
Registrar: GoDaddy.com, LLC
Domain Status: client delete prohibited
Domain Status: client renew prohibited
Domain Status: client transfer prohibited
Domain Status: client update prohibited
Registry Expiry Date: 2027-03-08T05:00:00Z
Creation Date: 1999-03-08T05:00:00.162Z
Updated Date: 2026-04-22T05:00:54.807Z
Name Server: NS41.DOMAINCONTROL.COM
Name Server: NS42.DOMAINCONTROL.COM
REGISTRAR Contact: GoDaddy.com, LLC
>>> Last update of RDAP database: 2026-07-27T00:15:35Z         

			User-agent: *
Disallow: /cgi-bin/
Disallow: /legacy-hg/
Disallow: /hg/
Disallow: /git/
Disallow: /old_irc/
Disallow: /register/
Disallow: /user/login/
Disallow: /wp-login.php
Disallow: /downloads/v4l-dvb-apis-old/
Crawl-delay: 10
#Sitemap: http://linuxtv.org/sitemap.xml
        

Technical SEO

On-Page SEO

Content and UX