# This space intentionally left blank
# If you want to learn about why our robots.txt looks like this, read this post: https://yoa.st/robots-txt
User-Agent: *
Host: http://vayatelgroup.ru
Sitemap: http://vayatelgroup.ru/sitemap_index.xml
Disallow: /cgi-bin # папка на хостинге
Disallow: /*? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /superpwa-manifest # служебная страница
Disallow: /*?s= # поиск
Disallow: /*&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: /xmlrpc.php # файл WordPress API
Disallow: /*openstat* # закрытие страниц с метками отслеживания
Disallow: /*&utm* # закрытие страниц с метками отслеживания
Disallow: /*&from* # закрытие страниц с метками отслеживания
Disallow: /*gclid* # закрытие страниц с метками отслеживания
Disallow: /*yclid* # закрытие страниц с метками отслеживания
Disallow: /*ymclid* # закрытие страниц с метками отслеживания
Disallow: /*&tid* # закрытие страниц с метками отслеживания
Disallow: /*.swf # закрытие страниц с расширением .swf
Disallow: /*/amp/ # дубли из яндекс вебмастера
Allow: */uploads # открываем папку с файлами uploads
User-agent: GoogleBot # правила для Google (комментарии не дублирую)
Disallow: /cgi-bin
Disallow: /*?
Disallow: /wp-
Disallow: /wp/
Disallow: /*?s=
Disallow: /*&s=
Disallow: /tag/ # теги
Disallow: /superpwa-manifest
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: /*openstat*
Disallow: /*&utm*
Disallow: /*&from*
Disallow: /*gclid*
Disallow: /*yclid*
Disallow: /*ymclid*
Disallow: /*&tid*
Disallow: /*.swf
Allow: */uploads
Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.woff # шрифт
Allow: /wp-*.woff2 # шрифт
Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
User-agent: Yandex # правила для Яндекса (комментарии не дублирую)
Disallow: /cgi-bin
Disallow: /*?
Disallow: /wp-
Disallow: /wp/
Disallow: /*?s=
Disallow: /*&s=
Disallow: /tag/ # теги
Disallow: /superpwa-manifest
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.woff # шрифт
Allow: /wp-*.woff2 # шрифт
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать
# от индексирования, а удалять параметры меток,
# Google такие правила не поддерживает
Clean-Param: openstat # аналогично
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:
Sitemap: https://vayatelgroup.ru/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK