User-Agent: *
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /personal/
Disallow: /search/
Disallow: /test/
Disallow: /ajax/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /bitrix/admin/
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*register=
Disallow: /*password*
Disallow: /*login=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*set_filter=y
Disallow: /*display=
Disallow: /*-or-*
Disallow: /*__cf_chl_captcha_tk__
Disallow: /*__cf_chl_jschl_tk__
Disallow: /*__cf_chl_managed_tk__
Disallow: /*poisk/clear/
Disallow: /*tip-is-litoy/
Disallow: /*tip-litoy/
Disallow: /datchiki-davleniya/
Disallow: /*diski-replica/
Disallow: /*shini/shini/
Disallow: /*?
Disallow: *utm_source
Disallow: *utm_medium
Disallow: *utm_campaign
Disallow: *utm_term
Disallow: *utm_content
Disallow: *utm_place
Disallow: *utm_position
Disallow: /*----
Disallow: /aksessuary-dlya-avto/
Allow: /*shini/shini/poisk/
Allow: /*diski-replica/avto-is-
Allow: /*diski-replica/$
Allow: /bitrix/components/*
Allow: /bitrix/cache/*
Allow: /bitrix/js/*
Allow: /bitrix/templates/*
Allow: /bitrix/panel/*
Allow: /*.css
Allow: /*.js
Allow: /*PAGEN
Sitemap: https://samohodoff.ru/site-map-podbor-shiny.xml
Sitemap: https://samohodoff.ru/site-map-podbor-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny-bu.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny.xml
User-Agent: Yandex
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /personal/
Disallow: /search/
Disallow: /test/
Disallow: /ajax/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /bitrix/admin/
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*register=
Disallow: /*password*
Disallow: /*login=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*set_filter=y
Disallow: /*display=
Disallow: /*-or-*
Disallow: /*__cf_chl_captcha_tk__
Disallow: /*__cf_chl_jschl_tk__
Disallow: /*__cf_chl_managed_tk__
Disallow: /*poisk/clear/
Disallow: /*tip-is-litoy/
Disallow: /*tip-litoy/
Disallow: /datchiki-davleniya/
Disallow: /*diski-replica/
Disallow: /*shini/shini/
Disallow: /*?
Disallow: /*----
Disallow: /aksessuary-dlya-avto/
Allow: /*shini/shini/poisk/
Allow: /*diski-replica/avto-is-
Allow: /*diski-replica/$
Allow: /bitrix/components/*
Allow: /bitrix/cache/*
Allow: /bitrix/js/*
Allow: /bitrix/templates/*
Allow: /bitrix/panel/*
Allow: /*.css
Allow: /*.js
Allow: /*PAGEN
Clean-param: refresh&turboofferid&utm_source&utm_medium&utm_campaign&utm_term&utm_content&from&utm_place&utm_position&ref&tab&type&show_mobile&SHOWALL_1&page&scroll_to_h1&mp1&bid&PAGEN
Sitemap: https://samohodoff.ru/site-map-podbor-shiny.xml
Sitemap: https://samohodoff.ru/site-map-podbor-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny-bu.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny.xml
User-Agent: Googlebot
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /personal/
Disallow: /search/
Disallow: /test/
Disallow: /ajax/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /bitrix/admin/
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*register=
Disallow: /*password*
Disallow: /*login=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*set_filter=y
Disallow: /*display=
Disallow: /*-or-*
Disallow: /*__cf_chl_captcha_tk__
Disallow: /*__cf_chl_jschl_tk__
Disallow: /*__cf_chl_managed_tk__
Disallow: /*poisk/clear/
Disallow: /*tip-is-litoy/
Disallow: /*tip-litoy/
Disallow: /datchiki-davleniya/
Disallow: /*diski-replica/
Disallow: /*shini/shini/
Disallow: /*?
Disallow: *utm_source
Disallow: *utm_medium
Disallow: *utm_campaign
Disallow: *utm_term
Disallow: *utm_content
Disallow: *utm_place
Disallow: *utm_position
Disallow: /*----
Disallow: /aksessuary-dlya-avto/
Allow: /*shini/shini/poisk/
Allow: /*diski-replica/avto-is-
Allow: /*diski-replica/$
Allow: /bitrix/components/*
Allow: /bitrix/cache/*
Allow: /bitrix/js/*
Allow: /bitrix/templates/*
Allow: /bitrix/panel/*
Allow: /*.css
Allow: /*.js
Allow: /*PAGEN
Sitemap: https://samohodoff.ru/site-map-podbor-shiny.xml
Sitemap: https://samohodoff.ru/site-map-podbor-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny-bu.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-diski.xml
Sitemap: https://samohodoff.ru/upload/acrit.exportpro/sitemap-shiny.xml
User-Agent: aiHitBot
Crawl-delay: 3
User-agent: PerplexityBot
Crawl-delay: 3
User-agent: GPTBot
Crawl-delay: 3
User-agent: ChatGPT-User
Crawl-delay: 3
User-agent: ClaudeBot
Crawl-delay: 3
User-agent: bingbot
Crawl-delay: 3
# Непонятный бот
User-agent: ALittle Client
Disallow: /
# Alibaba Cloud security scanner
User-agent: AliyunSecBot
Disallow: /
#Это официальный краулер Meta (Facebook / Instagram / WhatsApp / Messenger) и формально используется только для превьюшек артинок, когда ссылку оставляешь.
#Но по факту оттуда очень много трафа идет, это ненормально
User-agent: meta-externalagent
Disallow: /
# FindFiles.net — коммерческий агрегатор файлов
# Не поисковик, не даёт SEO или коммерческой ценности
# Создаёт лишнюю нагрузку на сервер
User-agent: FindFiles.net
Disallow: /
# Photon (Automattic / WordPress.com)
# CDN-сервис изображений для сторонних WordPress-сайтов
# Не поисковик, не даёт SEO или коммерческой ценности
# Создаёт лишнюю нагрузку на сервер
User-agent: Photon
Disallow: /
# price.ru-image-robot — коммерческий парсер изображений
# Не поисковик, не приносит клиентов или SEO-пользы
# Создаёт лишнюю нагрузку
User-agent: price.ru-image-robot
Disallow: /
# Valimail — domain scanner (SPF / DKIM / DMARC)
# Внешний почтовый сканер, не поисковик
# Не даёт SEO или коммерческой ценности
User-agent: Valimail
Disallow: /
# TerraCotta — веб-сканер / crawler от CeramicTeam
# Не поисковик, не приносит клиентов или SEO-пользы
# Создаёт лишнюю нагрузку на сервер
User-agent: TerraCotta
Disallow: /
# Sogou Pic Spider — бот китайского поисковика Sogou
# Индексирует изображения, не приносит клиентов или SEO-пользы для РФ
# Создаёт лишнюю нагрузку на сервер
User-agent: Sogou Pic Spider
Disallow: /
# GPTBot — официальный краулер OpenAI
# Используется для сбора данных для обучения ИИ
# Не поисковик, не даёт SEO или коммерческой пользы
# При большом количестве запросов создаёт лишнюю нагрузку
User-agent: GPTBot
Disallow: /
# SemrushBot — SEO-сканер от SEMrush
# Не поисковик, не приносит клиентов или SEO-пользы для сайта
# При большом количестве запросов создаёт лишнюю нагрузку
User-agent: SemrushBot
Disallow: /
# Amazonbot — официальный краулер Amazon
# Не поисковик, не приносит клиентов или SEO-пользы для РФ
# При большом количестве запросов создаёт лишнюю нагрузку
User-agent: Amazonbot
Disallow: /
# ClaudeBot — официальный краулер Anthropic для ИИ-модели Claude
# Не поисковик, не приносит клиентов или SEO-пользы
# При большом количестве запросов создаёт лишнюю нагрузку
User-agent: ClaudeBot
Disallow: /
# MJ12bot — краулер Majestic для SEO-аналитики
# Не поисковик, не приносит клиентов или SEO-пользы для сайта
# При большом количестве запросов создаёт лишнюю нагрузку
User-agent: MJ12bot
Disallow: /
# TikTokSpider — краулер TikTok для генерации превью ссылок
# Не поисковик, почти не приносит клиентов или SEO-пользы для РФ
# При массовых заходах создаёт лишнюю нагрузку на сервер
User-agent: TikTokSpider
Disallow: /
# AhrefsBot — краулер SEO-сервиса Ahrefs
# Не поисковик, не приносит клиентов или SEO-пользы для сайта
# При массовых заходах создаёт лишнюю нагрузку
User-agent: AhrefsBot
Disallow: /
# DotBot — краулер SEO-сервиса Moz (Open Site Explorer)
# Не поисковик, не приносит клиентов или SEO-пользы
# При массовых заходах создаёт лишнюю нагрузку
User-agent: DotBot
Disallow: /
# Baiduspider-render — краулер китайской поисковой системы Baidu
# Не поисковик для РФ, не приносит клиентов или SEO-пользы
# При массовых заходах создаёт лишнюю нагрузку
User-agent: Baiduspider-render
Disallow: /
# PerplexityBot — краулер Perplexity AI для обучения модели
# Не поисковик, не приносит клиентов или SEO-пользы
# При массовых заходах создаёт лишнюю нагрузку
User-agent: PerplexityBot
Disallow: /
# Baiduspider — основной краулер китайской поисковой системы Baidu
# Не поисковик для РФ, не приносит клиентов или SEO-пользы
# При массовых заходах создаёт лишнюю нагрузку
User-agent: Baiduspider
Disallow: /
# OAI-SearchBot — поисковый бот OpenAI
# Не является классическим поисковиком, не приносит прямых заказов
# Создает лишнюю нагрузку при индексации каталога
User-agent: OAI-SearchBot
Disallow: /
# ChatGPT-User — бот для посещения сайтов по запросу пользователей ChatGPT
# Не приносит коммерческого трафика и не совершает покупок
# Может массово обходить карточки товаров
User-agent: ChatGPT-User
Disallow: /
# PetalBot — поисковик Huawei
# Имеет крайне низкую долю рынка в РФ, но очень агрессивно сканирует фильтры
# Создает избыточную нагрузку на сервер
User-agent: PetalBot
Disallow: /
# Bytespider — основной краулер ByteDance (TikTok/Douyin)
# Не приносит целевых клиентов для магазина автотоваров
# Известен очень высокой интенсивностью запросов
User-agent: Bytespider
Disallow: /
# GeedoShopProductFinder — специализированный скрапер цен и товаров
# Используется для автоматического мониторинга ваших цен конкурентами
# Создает нагрузку, не принося никакой пользы магазину
User-agent: GeedoShopProductFinder
Disallow: /
# keys-so-bot — бот российского сервиса анализа конкурентов Keys.so
# Собирает данные для ваших конкурентов (ключи, позиции, выдачу)
# Не является поисковиком, создает лишний трафик
User-agent: keys-so-bot
Disallow: /
# crawler — неопознанный бот с общим заголовком
# Легитимные боты всегда имеют четкую идентификацию
# Полезной нагрузки не несет, рекомендуется заблокировать
User-agent: crawler
Disallow: /