# ============================================================================
# robots.txt для сайта russiaeguide.com
# Последнее обновление: 13.08.2025
# Цель: максимально снизить нагрузку от ботов, оставив только полезных
# ============================================================================
# Sitemap
Sitemap: https://russiaeguide.com/sitemap.xml
# Основные правила для всех
User-agent: *
# Разрешить всё, кроме перечисленного ниже
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-cron.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /?s=*
Disallow: /*?replytocom=*
Disallow: /search
Disallow: /author/
Disallow: /?p=*
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.zip$
# ============================================================================
# Блокировка агрессивных или нежелательных ботов
# ============================================================================
# ChatGPT-User (избыточный трафик)
User-agent: ChatGPT-User
Disallow: /
# PetalBot (Huawei, часто перегружает)
User-agent: PetalBot
Disallow: /
# MJ12bot (часто игнорирует rate-limit)
User-agent: MJ12bot
Disallow: /
# Bytespider (ByteDance / TikTok)
User-agent: Bytespider
Disallow: /
# Qwantbot (слишком агрессивный)
User-agent: Qwantbot
Disallow: /
# Sogou Spider (часто перегружает)
User-agent: Sogou web spider
Disallow: /
# Baiduspider (если не нужен китайский трафик)
User-agent: Baiduspider
Disallow: /
# Bingbot – оставляем, но с ограничениями
User-agent: bingbot
Crawl-delay: 2
Disallow: /wp-admin/
Disallow: /wp-includes/
# Googlebot – разрешаем всё, но без админки
User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-includes/
# YandexBot – разрешаем всё, но без админки
User-agent: YandexBot
Disallow: /wp-admin/
Disallow: /wp-includes/
# SeznamBot – чешский поисковик, можно оставить
User-agent: SeznamBot
Crawl-delay: 1
Disallow: /wp-admin/
Disallow: /wp-includes/
# DuckDuckBot – допустим
User-agent: DuckDuckBot
Disallow: /wp-admin/
Disallow: /wp-includes/
# Facebook / Instagram
User-agent: facebookexternalhit
Disallow: /wp-admin/
Disallow: /wp-includes/
# Applebot
User-agent: Applebot
Disallow: /wp-admin/
Disallow: /wp-includes/
# ============================================================================
# Crawl-delay для ограничения частоты
# ============================================================================
# Общее ограничение для всех, кто не указан выше
User-agent: *
Crawl-delay: 1