User-agent: Yandex
Disallow: /cgi-bin # служебная папка для хранения серверных скриптов
Disallow: /index.php #закрытие динамических ссылок ввод масок
Disallow: /*?*
Disallow: /*%
Disallow: */page/ # страницы пагинации
Disallow: /*?page=
Disallow: /*&page=
Disallow: /? # все параметры запроса на главной
Disallow: /?s= # запретить все URL поиска по сайту
Disallow: *?s= # результаты поиска
Disallow: *?p=
Disallow: *&s= # Поиск
Disallow: /search # результаты поиска
Disallow: *PHPSESSID= #Исключать из индекса страницы, которые содержат индикаторы сессий.
Disallow: *session_id= #Исключать из индекса страницы, которые содержат индикаторы сессий.
Disallow: /wp- # файлы WP: /wp-json/, /wp-includes, /wp-content/plugins запретить сканирование всех служебных файлов, связанных с wp
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /*print= # страницы для печати
Disallow: /admin # Закрываем админку
Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки
Disallow: /*.pdf
Disallow: /*.xls
Disallow: /*.doc
Disallow: /*.ppt
Disallow: /*.txt
Disallow: *refSourceId=
Disallow: *s_airport=
Disallow: *s_actype=
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */embed$ # Все встраивания. Символ $ — конец строки
Disallow: *openstat= # Ссылки с метками openstat
Disallow: /readme.html # закрыть доступ к стандартному файлу о ПО
Disallow: */*facebook.com*/*
Disallow: */*twitter.com*/*
Disallow: */*youtube.com*/*
Disallow: */*instagram.com*/*
Crawl-delay: 5 #Чем выше значение, тем медленнее краулер станет обходить страницы сайта.
#Директива Clean-param дает возможность запрещать поисковому роботу обход страниц с динамическими параметрами, контент которых не имеет отличий от основной страницы.
Clean-param: utm_source&utm_medium&utm_term&utm_content&utm_campaign&yclid&gclid&_openstat&from /
Clean-param: etext
Clean-param: ts_dosearch&s_flyfrom&s_country&s_j_date_from&s_j_date_to&s_nights_from&s_nights_to&s_adults&s_child&s_stars&s_regular&s_region_to&jet-theme-core
Clean-param: child_age_1
Clean-param: s_meal
Clean-param: x_hotel_codes
Clean-param: s_currency
Clean-param: s_form_mode
Clean-param: s_hotel_services
Clean-param: child_age_2&s_rating
Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д.
Sitemap: https://attour.ru/sitemap_index.xml #указать местоположение карты сайта
Sitemap: https://attour.ru/sitemap.xml
User-agent: Googlebot
Disallow: /cgi-bin # служебная папка для хранения серверных скриптов
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s= # результаты поиска
Disallow: /search # результаты поиска
Disallow: */page/ # страницы пагинации
Disallow: /*print= # страницы для печати
Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки
Disallow: /admin
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /privacy-policy
Disallow: /*.pdf
Disallow: /*.xls
Disallow: /*.doc
Disallow: /*.ppt
Disallow: /*.txt
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: */*facebook.com*/*
Disallow: */*twitter.com*/*
Disallow: */*youtube.com*/*
Disallow: */*instagram.com*/*
Allow: *.css # открыть все файлы стилей
Allow: *.js # открыть все с js-скриптами
Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д.
Sitemap: https://attour.ru/sitemap_index.xml #указать местоположение карты сайта
Sitemap: https://attour.ru/sitemap.xml
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /admin
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки
Disallow: /privacy-policy
Disallow: /tag/
Disallow: /author/*
Disallow: /template.html
Disallow: /trackback
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?*
Disallow: /*%
Disallow: */disclaimer/*
Disallow: *?attachment_id=
Disallow: */trackback
Disallow: */page
Disallow: *?replytocom
Disallow: *refSourceId=
Disallow: *s_airport=
Disallow: *s_actype=
Disallow: *?s=
Disallow: *?p=
Disallow: *?
Disallow: *PHPSESSID=
Disallow: *session_id=
Allow: /wp-admin/admin-ajax.php #разрешает индексацию асинхронных JS-скриптов, которые используются в некоторых темах.
Allow: /*/*.css
Allow: /*/*.js
Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д.
Sitemap: https://attour.ru/sitemap_index.xml #указать местоположение карты сайта
Sitemap: https://attour.ru/sitemap.xml