User-agent: * # Создаем секцию правил для роботов. * значит для всех
# роботов. Чтобы указать секцию правил для отдельного
# робота, вместо * укажите его имя: GoogleBot, Yandex.
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /wp-admin/ # Закрываем админку.
Disallow: /wp/ # Каталог куда установлено ядро WP. Обычно ядро
# лежит рядом с wp-content и правило можно удалить.
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Disallow: /? # Все параметры запроса на главной.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed # Все встраивания.
Disallow: */page/ # Все виды пагинации.
Disallow: */xmlrpc.php # Файл WordPress API
Disallow: *utm*= # Ссылки с utm-метками
Disallow: *openstat= # Ссылки с метками openstat
Disallow: /wp- # Все связанное с WP - это: /wp-content /wp-admin
# /wp-includes /wp-json wp-login.php wp-register.php.
Allow: */wp-*/*ajax*.php # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow: */wp-sitemap # карта сайта (главная и вложенные)
Allow: */uploads # открываем uploads
Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д.
Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д.
Allow: */wp-*/*.pdf # файлы в плагинах, cache папке и т.д.
Allow: */wp-*/*.docx # файлы в плагинах, cache папке и т.д.
Allow: */wp-*/*.doc # файлы в плагинах, cache папке и т.д.
Allow: */wp-*/*.zip # файлы в плагинах, cache папке и т.д.
# Секция правил закончена
Disallow: /produktsiya
Disallow: /component
Disallow: /poisk
Disallow: /karta-sajta
Disallow: /dokumenty18
Disallow: /uslugi
Disallow: /o-kompanii14
Disallow: /kontakty/item
Disallow: /kontakty21
Disallow: /novosti
# Одина или несколько ссылок на карту сайта (файл Sitemap). Это независимая
# директива и дублировать её для каждого User-agent не нужно. Так например
# Google XML Sitemap создает 2 карты сайта:
Sitemap: https://www.ingortech.ru/sitemap_index.xml
Sitemap: https://www.ingortech.ru/system-sitemap.xml
Sitemap: https://www.ingortech.ru/device-sitemap.xml
Sitemap: https://www.ingortech.ru/document-sitemap.xml
Sitemap: https://www.ingortech.ru/mfsb-sitemap.xml
Sitemap: https://www.ingortech.ru/types-of-systems-sitemap.xml
Sitemap: https://www.ingortech.ru/devices-sitemap.xml