# Машиночитаемое описание для LLM: https://stankotorg.ru/llms.txt
User-agent: *
Disallow: /*.pdf
Disallow: /data/
Disallow: /files/
Disallow: /html/
Disallow: /category/
Disallow: /products/
Disallow: /404.htm
# /search.php не закрываем: страница с noindex,follow — краулеры могут проверить URL из WebSite SearchAction (sitelinks search box).
Disallow: /bot-trap/
Disallow: /_honeypot/
Disallow: /catalog-dump/
Disallow: /private-export/
Disallow: /_hp-v2/
Disallow: /catalog-backup-v2/
# Semrush/Ahrefs/DotBot/MegaIndex: те же правила, что и для User-agent: * (индексация в SEO-панелях).
# Ограничение частоты запросов — на сервере (rate_limit.php, WAF), а не через полный Disallow в robots.txt.
User-agent: grapeshot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Riddler (http://riddler.io/about)
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: Scrapy
Disallow: /
User-agent: curl
Disallow: /
User-agent: DISCo Pump
Disallow: /
User-agent: Wget
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Twiceler
Disallow: /
User-agent: NetinfoBot
Disallow: /
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: linko
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: NPBot
Disallow: /
User-agent: WebReaper
Disallow: /
# ИИ-краулеры (Google-Extended, GPTBot и др.): не блокируем — нужен канал присутствия в ИИ-ответах и обзорах.
# Китайские ИИ/облачные краулеры (ERNIE, Qwen, Bytespider/Doubao, Kimi, ChatGLM и т.п.): те же общие правила; доступ из CN на сервере — через allowlist UA в .htaccess (гео CN).
# Для них действуют общие правила User-agent: * (закрыты служебные пути и PDF). Антискрейп — на стороне сервера (лимиты, WAF).
Sitemap: https://stankotorg.ru/sitemap.xml