domain: ROSTOF.RU
nserver: ns1.beget.com.
nserver: ns1.beget.pro.
nserver: ns2.beget.com.
nserver: ns2.beget.pro.
state: REGISTERED, DELEGATED, VERIFIED
org: MKU "EDITORIAL OFFICE OF THE ROSTOV OFFICIAL NEWSPAPER"
taxpayer-id: 6164145408
registrar: RU-CENTER-RU
admin-contact: https://www.nic.ru/whois
created: 2011-02-10T13:46:47Z
paid-till: 2027-02-10T13:46:47Z
free-date: 2027-03-13
source: TCI
Last updated on 2026-03-14T19:48:01Z
#
# robots.txt - ОПТИМИЗИРОВАННАЯ ВЕРСИЯ (обновлено 09.02.2026)
#
# Этот файл должен быть размещен в /var/www/rostof.ru/public_html/robots.txt
#
# Изменения от 09.02.2026:
# - Ужесточён crawl-delay для Googlebot и YandexBot (60 → 120)
# - Добавлена блокировка /users/ для всех ботов (тяжёлые страницы с глубокой пагинацией)
# - Добавлена блокировка /social/ для всех ботов (тяжёлые страницы)
# - Ужесточены правила для неосновных ботов
#
# Изменения от 28.03.2026:
# - Полная блокировка Baiduspider / BaiduSpider (китайский поиск не используется)
#
# Общие правила для всех ботов
User-agent: *
Crawl-delay: 180
# RSS/JSON лента - явно разрешена для показа в Mail.ru, Дзене и др.
# (требование: Allow в robots.txt, чтобы робот проиндексировал материалы)
Allow: /json
# CSS, JS, Images - разрешены
Allow: /misc/*.css$
Allow: /misc/*.css?
Allow: /misc/*.js$
Allow: /misc/*.js?
Allow: /misc/*.gif
Allow: /misc/*.jpg
Allow: /misc/*.jpeg
Allow: /misc/*.png
Allow: /modules/*.css$
Allow: /modules/*.css?
Allow: /modules/*.js$
Allow: /modules/*.js?
Allow: /modules/*.gif
Allow: /modules/*.jpg
Allow: /modules/*.jpeg
Allow: /modules/*.png
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /themes/*.css$
Allow: /themes/*.css?
Allow: /themes/*.js$
Allow: /themes/*.js?
Allow: /themes/*.gif
Allow: /themes/*.jpg
Allow: /themes/*.jpeg
Allow: /themes/*.png
# Директории - запрещены
Disallow: /sites/all/libraries/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Файлы - запрещены
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Пути (clean URLs) - запрещены
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Пути (no clean URLs) - запрещены
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
# НОВОЕ (09.02.2026): Блокировка тяжёлых путей для снижения нагрузки от ботов
# Эти пути создают большую нагрузку из-за глубокой пагинации и архивных материалов
Disallow: /calendar/
Disallow: /sites/default/files/styles/
Disallow: /users/
Disallow: /social/
Disallow: /list-of-tags
Disallow: /taxonomy/term/
# ============================================
# Специальные правила для агрессивных ботов
# ============================================
# Amazonbot - 3,475+ запросов с ошибками (ПОЛНАЯ БЛОКИРОВКА)
User-agent: Amazonbot
Crawl-delay: 360
Disallow: /
# Turnitin - 873+ запроса с ошибками (ПОЛНАЯ БЛОКИРОВКА)
User-agent: Turnitin
Crawl-delay: 360
Disallow: /
# ClaudeBot - блокировка AI ботов для обучения (ПОЛНАЯ БЛОКИРОВКА)
# 2,149+ запросов, не приносят трафик
User-agent: ClaudeBot
Disallow: /
# GPTBot - блокировка AI ботов для обучения (ПОЛНАЯ БЛОКИРОВКА)
# 2,144+ запросов, не приносят трафик
User-agent: GPTBot
Disallow: /
# ChatGPT-User - блокировка AI ботов для обучения (ПОЛНАЯ БЛОКИРОВКА)
User-agent: ChatGPT-User
Disallow: /
# PetalBot - агрессивное сканирование (ПОЛНАЯ БЛОКИРОВКА)
User-agent: PetalBot
Disallow: /
# Meta боты - блокировка Facebook ботов (ПОЛНАЯ БЛОКИРОВКА)
User-agent: meta-externalagent
Disallow: /
User-agent: meta-webindexer
Disallow: /
# Другие агрессивные боты (ПОЛНАЯ БЛОКИРОВКА)
User-agent: PerplexityBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
# Baidu (Baiduspider) — полная блокировка: китайский поисковик не нужен
User-agent: Baiduspider
Disallow: /
User-agent: BaiduSpider
Disallow: /
# ============================================
# Правила для поисковых ботов (более мягкие, но ужесточённые)
# ============================================
# Googlebot - разрешаем, но с увеличенной задержкой и блокировкой тяжёлых путей
# ИЗМЕНЕНО 09.02.2026: crawl-delay 120 → 180 для снижения нагрузки
User-agent: Googlebot
Crawl-delay: 180
Disallow: /calendar/
Disallow: /users/
Disallow: /social/
Disallow: /list-of-tags
Disallow: /taxonomy/term/
Disallow: /sites/default/files/styles/
# YandexBot - разрешаем, но с увеличенной задержкой и блокировкой тяжёлых путей
# ИЗМЕНЕНО 09.02.2026: crawl-delay 120 → 180 для снижения нагрузки
User-agent: YandexBot
Crawl-delay: 180
Disallow: /calendar/
Disallow: /users/
Disallow: /social/
Disallow: /list-of-tags
Disallow: /taxonomy/term/
Disallow: /sites/default/files/styles/
# Applebot - разрешаем, но с задержкой
User-agent: Applebot
Crawl-delay: 180
Disallow: /calendar/
Disallow: /users/
Disallow: /social/
Disallow: /list-of-tags
Disallow: /taxonomy/term/
Disallow: /sites/default/files/styles/
# Bingbot - разрешаем, но с задержкой
User-agent: Bingbot
Crawl-delay: 180
Disallow: /calendar/
Disallow: /users/
Disallow: /social/
Disallow: /list-of-tags
Disallow: /taxonomy/term/
Disallow: /sites/default/files/styles/
| Posisjon | Uttrykk | Side | Utdrag |
|---|---|---|---|
| 1(+34) | /articles/v-rostove-podveli-itogi-oblastnoy-premii-chelovek-goda | ||
| 2 | /articles/rostovchane-vzyali-zoloto-pervenstva-oblasti-po-boksu-sredi-yuniorov-i-yuniorok | ||
| 3 | /articles/v-rostove-na-donu-rassleduyut-ugolovnoe-delo-po-faktu-moshennichestva | ||
| 3 | /articles/nachalnik-upravleniya-obrazovaniya-goroda-nazval-prichinu-uvelicheniya-platy-za-detskiy-sad | ||
| 3 | /articles/vvedeny-ogranicheniya-dostupa-gruzovogo-transporta-na-territoriyu-rostova-na-donu | ||
| 3 | /articles/v-rostove-prodolzhaetsya-likvidaciya-posledstviy-proisshestviya-v-oktyabrskom-rayone | ||
| 3 | /articles/sud-v-rostove-vynes-prigovor-20-letnemu-figurantu-dela-o-finansirovanii-terrorizma | ||
| 3 | /articles/policeyskie-nashli-propavshego-nesovershennoletnego | ||
| 3 | /articles/v-taganroge-prokuratura-cherez-sud-dobilas-pererascheta-pensii-mestnomu-zhitelyu | ||
| 3 | /articles/v-rostove-na-donu-policeyskie-zaderzhali-31-letnego-mestnogo-zhitelya-hranivshego-narkotik |
| Posisjon | Uttrykk | Side | Utdrag |
|---|---|---|---|
| 2 | / | ||
| 5 | / | ||
| 6(-1) | /articles/kapitanskaya-dochka-shedevry-iz-stekla-i-metalla-rok-koncert-v-srednevekovom-zamke | ||
| 10 | / | ||
| 10 | / |