User-agent: *
Disallow: /export*
# поиск
Disallow: /search*
# все параметры запросов
Disallow: /*?
#запрет на индексацию api системы
Disallow: /api
#запрет на индексацию страниц печати
Disallow: /print
# различные варианты дублей контента (исключаем дубли контента)
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
# технические страницы, они шаблонные и чтобы не было пересечений, их лучше не вгонять в индекс поисковиков
Disallow: /o-sayte
Disallow: /kontakty
Disallow: /politika-konfidentsialnosti
Disallow: /dmca-avtorskie-prava
Disallow: /usloviya-ispolzovaniya
Disallow: /pravoobladatelyam
Disallow: /favourites
# запрет на индексацию всех изображений
Disallow: *.jpg
Disallow: *.gif
Disallow: *.tiff
Disallow: *.bmp
Disallow: *.jpeg
Disallow: *.JPG
Disallow: *.JPEG
# запрет на индексацию файлов дизайна и скриптов
Disallow: *.css
Disallow: *.js
# ИСКЛЮЧЕНИЯ
# --------------------------------------------------------------------------------------------------
# исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
Allow: *.png
Allow: *.PNG
Allow: *.ico
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# правила для Mail.Ru
#(при необходимости открываем для Mail.Ru feed, чтобы можно было подключить ленту сайта в аналог дзена от Mail.Ru)
# --------------------------------------------------------------------------------------------------
#User-agent: Mail.Ru
#Allow: */feed/
# правила для Twitter
#(открываем для Twitter закрытые изображения, чтобы он мог их добавлять к записям при репосте)
# --------------------------------------------------------------------------------------------------
User-agent: Twitterbot
Allow: /
Allow: *.jpg
Allow: *.png
Allow: *.gif
Allow: *.tiff
Allow: *.bmp
Allow: *.jpeg
Allow: *.JPG
Allow: *.PNG
Allow: *.JPEG
# правила для MJ12bot
#(бот, который слишком нагружает работу сайта) | закрываем от него сайт
# --------------------------------------------------------------------------------------------------
User-agent: MJ12bot
Disallow: /
# Укажите один файл Sitemap (дублировать для каждого User-agent не нужно).
Sitemap: https://topkinopro.com/sitemap.xml
# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: https://topkinopro.com