www.ntcpik.com

• equiv: origin-trial content: A7vZI3v+Gz7JfuRolKNM4Aff6zaGuT7X0mf3wtoZTnKv6497cVMnhy03KDqX7kBz/q/iidW7srW31oQbBt4VhgoAAACUeyJvcmlnaW4iOiJodHRwczovL3d3dy5nb29nbGUuY29tOjQ0MyIsImZlYXR1cmUiOiJEaXNhYmxlVGhpcmRQYXJ0eVN0b3JhZ2VQYXJ0aXRpb25pbmczIiwiZXhwaXJ5IjoxNzU3OTgwODAwLCJpc1N1YmRvbWFpbiI6dHJ1ZSwiaXNUaGlyZFBhcnR5Ijp0cnVlfQ==
• name: robots content: index, follow
• name: robots content: noodp
• charset: UTF-8
• name: viewport content: width=device-width, initial-scale=1.0
• equiv: Content-Type content: text/html; charset=utf-8
• charset: utf-8
• name: google-site-verification content: 9GxHntYtQI7T2SmZpr7Rs2tiMlcqp0xusdeg1SWB5Jc
• name: yandex-verification content: d267bcdd124b3dfc
• property: og:type content: website
• property: og:url content: https://www.ntcpik.com/
• property: og:url
• property: og:title content: Официальный сайт НТЦ 1995:
• property: og:description content: Российский производитель промышленной продукции. Оборудование для медножильных сетей связи, для волоконно-оптических сетей связи. Телекоммуникационные шкафы, климатические шкафы и аксессуары. Аккумуляторы и ИБП. Сетевое оборудование.
• property: og:image content: https://www.ntcpik.com/upload/medialibrary/652/euvw2c39qizpejpp7li6u8pkdcolylvz/logo.webp
• property: og:image
• property: og:image:type content: image/webp
• property: og:image:width content: 964
• property: og:image:height content: 504
• property: og:locale content: ru_RU
• property: og:site_name content: НТЦ ПИК
• name: twitter:url content: https://www.ntcpik.com/
• name: twitter:description content: Российский производитель промышленной продукции. Оборудование для медножильных сетей связи, для волоконно-оптических сетей связи. Телекоммуникационные шкафы, климатические шкафы и аксессуары. Аккумуляторы и ИБП. Сетевое оборудование.
• name: twitter:image:src content: https://www.ntcpik.com/upload/medialibrary/652/euvw2c39qizpejpp7li6u8pkdcolylvz/logo.webp
• name: twitter:domain content: ntcpik.com
• name: twitter:site content: www.ntcpik.com
• name: twitter:title content: Официальный сайт НТЦ 1995:
• name: description content: Оборудование для медножильных сетей связи, волоконно-оптических сетей связи. Телекоммуникационные, климатические шкафы и аксессуары. Аккумуляторы и ИБП. Сетевое оборудование.
• name: image content: https://www.ntcpik.com/favicon.svg
• itemprop: target content: https://www.ntcpik.com/search?q={q}
• itemprop: name content: Своё производство и научно‑технический центр
• itemprop: description content: Собственный завод площадью 1000 квадратных метров и производственные мощности, которым под силу проект любого масштаба
• itemprop: thumbnailUrl content: https://www.ntcpik.com/upload/iblock/b84/ax7ckfoopsspj579z5r8fbl9llllijcg/pik_bg.mp4
• itemprop: contentUrl content: https://www.ntcpik.com/upload/iblock/af4/g1zmssw5ww4jm5x0stm83nf9o2l0rz71/blihtuwxfrpbwfrvb9b8si5ttm8avab3.mp4
• itemprop: embedUrl content: https://www.ntcpik.com/upload/iblock/af4/g1zmssw5ww4jm5x0stm83nf9o2l0rz71/blihtuwxfrpbwfrvb9b8si5ttm8avab3.mp4
• itemprop: uploadDate content: 2026-06-08T18:04:36+03:00
• itemprop: duration content: PT2M6S
• itemprop: width content: 640
• itemprop: height content: 360
• itemprop: url content: https://www.ntcpik.com/upload/iblock/b84/ax7ckfoopsspj579z5r8fbl9llllijcg/pik_bg.mp4
• itemprop: width content: 1200
• itemprop: height content: 630
• itemprop: height content: 353
• itemprop: width content: 500
• itemprop: caption content:
• itemprop: description content:
• itemprop: height content: 353
• itemprop: width content: 500
• itemprop: caption content:
• itemprop: description content:
• itemprop: height content: 353
• itemprop: width content: 500
• itemprop: caption content:
• itemprop: description content:
• itemprop: height content: 353
• itemprop: width content: 500
• itemprop: caption content:
• itemprop: description content:
• itemprop: url content: https://www.ntcpik.com/favicon.png
• itemprop: contentUrl content: https://www.ntcpik.com/favicon.png
• itemprop: width content: 147
• itemprop: height content: 147
• itemprop: streetAddress content: ул.Бородулина, д.12А
• itemprop: postalCode content: Киров
• itemprop: addressLocality content: 610025
• itemprop: addressCountry content: RU

• 8 8332 21-19-03
• [email protected]
• http://www.ntcpik.com/catalog/realizovannye_proekty/
• http://www.ntcpik.com/article/
• http://www.ntcpik.com/manufacture/
• http://www.ntcpik.com/news/
• http://www.ntcpik.com/delivery/
• http://www.ntcpik.com/about/
• http://www.ntcpik.com/sertificates/
• http://www.ntcpik.com/bquadro-form/
• http://www.ntcpik.com/contacts/
• Заполнить опросный лист
• Заказы
• Профиль
• Ваш менеджер
• Продолжить
• http://www.ntcpik.com/catalog/termoshkafy/
• http://www.ntcpik.com/catalog/tsod/
• http://www.ntcpik.com/catalog/shkafy_ktso/
• http://www.ntcpik.com/catalog/monitoring_i_upravlenie/
• http://www.ntcpik.com/catalog/med/
• http://www.ntcpik.com/catalog/telekommunikatsionnye_shkafy/
• https://www.ntcpik.com/manufacture/
• https://www.ntcpik.com/news/
• https://www.ntcpik.com/delivery/
• https://www.ntcpik.com/about/
• https://www.ntcpik.com/sertificates/
• https://www.ntcpik.com/bquadro-form/
• https://www.ntcpik.com/contacts/
• http://www.ntcpik.com/personal/cart/
• Термошкафы
• ЦОД
• Шкафы КТСО
• Мониторинг и управление
• Медь
• Телекоммуникационные шкафы
• Реализованные проекты
• Климатические шкафы
• Контроллеры управления ТШ
• Коммутаторы
• Аксессуары
• Грозозащита оборудования
• Стойки ЦОД и коридоры
• Блоки розеток
• Блоки розеток с АВР
• Термоконтроллеры
• Контроллеры мониторинга
• Блоки розеток с мониторингом
• Блоки розеток с управлением
• Блок розеток с АВР
• Коммутаторы
• Грозозащита
• Шкафы распределительные
• Шкафы распределительные уличные
• Кроссы настенные
• Кроссы станционные
• Плинты и аксессуары
• Телекоммуникационные шкафы ШТК-1М
• Аксессуары 19"
• Аксессуары для ШТК-1М
• ТШ-МП Термошкафы с монтажной панелью
• ТШ-НС Термошкафы настенные
• ТШ-НП Термошкафы напольные
• ТШ-НП-2С Термошкафы 2-х секционные
• Аксессуары для ТШ-МП
• Аксессуары для ТШ-НС
• Аксессуары для ТШ-НП
• Аксессуары для ТШ-НП-2С
• Стойки
• Коридоры
• Аксессуары для стоек
• Без дополнительных функций
• С локальным мониторингом
• С мониторингом
• С управлением
• Открыть товары
• Открыть товары
• Открыть товары
• Открыть товары
• http://www.ntcpik.com/news/kto_skazal_chto_v_rossii_nelzya_delat_vysokotochnuyu_elektroniku/
• http://www.ntcpik.com/news/eto_video_luchshe_vsyakikh_slov_smotrite_sami_kakaya_tam_tvorilas_magiya/
• http://www.ntcpik.com/news/podgotovka_k_svyaz_2026_ot_chertezha_do_voploshcheniya_/
• http://www.ntcpik.com/news/priglashaem_vas_posetit_nash_stend_4d115_na_vystavke_svyaz_2026/
• Следующая страница
• http://www.ntcpik.com/?PAGEN_3=3
• http://www.ntcpik.com/article/varianty-ustanovki-termoshkafov/
• http://www.ntcpik.com/article/termoshkaf-dlya-videokamer-gotovye-resheniya/
• http://www.ntcpik.com/article/mozhno-li-prevratit-tipovoy-raspredelitelnyy-shchit-rshch-v-termoshkaf-tsh/
• http://www.ntcpik.com/article/aksessuary-dlya-tsh-s-montazhnoy-panelyu/
• Следующая страница
• http://www.ntcpik.com/?PAGEN_4=3
• http://www.ntcpik.com/projects/postavka-shkafov-telemekhaniki-shkafov-istochnikov-bespereboynogo-pitaniya/
• http://www.ntcpik.com/projects/shkaf-klimaticheskiy-ulichnyy-shkm-u600m-dvukhsektsionnyy/
• http://www.ntcpik.com/projects/shchit-raspredelitelnyy-shau-250-1334-ukhl4-p-shkaf-upravleniya-na-baze-rshch/
• http://www.ntcpik.com/projects/telekommunikatsionnyy-shkaf-po-ol-g-2-0000-23228-tpv-gtp-500-000-ktso-ol2-na-baze-shtk-1m/
• http://www.ntcpik.com/projects/
• http://www.ntcpik.com/upload/resize_cache/iblock/1e3/mgcfa7hoq4v823pn2pdg2t1srgozj2ep/1980_1024_1619711fa078991f0a23d032687646b21/Ispytaniya-na-seysmostoykost-mashin_-priborov-i-drugikh_sertifikat-sootvetstviya_1.webp
• http://www.ntcpik.com/upload/resize_cache/iblock/fb4/x4xaw9ltk0dejza8lhb3xpplggbjw3n2/1980_1024_1619711fa078991f0a23d032687646b21/Komplektnye-ustroystva-na-napryazhenie-do-1000-V-raspredeleniya-upravleniya-i-ucheta-elektroenergii_deklaratsiya-sootvetstviya_1.webp
• http://www.ntcpik.com/upload/resize_cache/iblock/dbc/nq0mdymj5p863dpv0lj6eyhf6ros0st8/1980_1024_1619711fa078991f0a23d032687646b21/Komplektnye-ustroystva-na-napryazhenie-do-1000-V-raspredeleniya-upravleniya-i-ucheta-elektroenergii_sertifikat-sootvetstviya_1.webp
• http://www.ntcpik.com/upload/resize_cache/iblock/099/nospw38xcpsp5y5npw9qtcrc470ccgt3/1980_1024_1619711fa078991f0a23d032687646b21/Pozharnyy-sertifikat-sootvetstviya-na-shkafy-klimaticheskie_-termoshkafy-serii-TSH_1.webp
• политикой персональных данных
• 8 8332 21-19-03
• [email protected]
• [email protected]
• http://www.ntcpik.com/catalog/
• http://www.ntcpik.com/design-development/
• http://www.ntcpik.com/personal/agree/
• http://www.ntcpik.com/personal/offer/
• Зарегистрироваться

• https://vk.com/ntcpik
• -->

            Domain Name: NTCPIK.COM
Registrar: Regional Network Information Center, JSC dba RU-CENTER
Domain Status: client transfer prohibited
Creation Date: 2010-05-05T10:08:38Z
Registry Expiry Date: 2027-05-05T10:08:38Z
Updated Date: 2026-05-05T06:09:10Z
Name Server: NS3-L2.NIC.RU
Name Server: NS4-CLOUD.NIC.RU
Name Server: NS4-L2.NIC.RU
Name Server: NS8-CLOUD.NIC.RU
Name Server: NS8-L2.NIC.RU
REGISTRAR Contact: Regional Network Information Center, JSC dba RU-CENTER
>>> Last update of RDAP database: 2026-06-08T14:47:31Z         

			# =============================================================================
# Последнее обновление: 2026
# =============================================================================

# ------------------------------------------------------------------------------
# ГЛОБАЛЬНЫЕ ПРАВИЛА (для всех ботов, кроме указанных отдельно)
# ------------------------------------------------------------------------------
User-Agent: *

# === БЛОКИРОВКА ТЕХНИЧЕСКИХ И АДМИНИСТРАТИВНЫХ РАЗДЕЛОВ ===
# Эти пути не несут ценности для поиска и должны быть закрыты всегда
Disallow: /bitrix/
Disallow: /bitrix/panel/
Disallow: /local/
Disallow: /personal/
Disallow: /api/*
Disallow: /cgi-bin/
Disallow: /test*
Disallow: /404.php
Disallow: /auth.php
Disallow: /auth/

# === БЛОКИРОВКА ВНУТРЕННИХ ФУНКЦИЙ САЙТА ===
# Формы, заказы, фильтры — не для индексации
Disallow: */apply/*
Disallow: */filter/*
Disallow: */form/?name=
Disallow: */order/
Disallow: /*?form_id=
Disallow: /*&form_id=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*?alfaction=
Disallow: /*?arrFilter=
Disallow: /*?set_filter=
Disallow: /*?set_filter*
Disallow: /*&set_filter=
Disallow: /*set_filter*
Disallow: /*&set_filter*

# === БЛОКИРОВКА ПАРАМЕТРОВ АВТОРИЗАЦИИ И СЕССИЙ ===
Disallow: /*?auth=
Disallow: /*&auth=
Disallow: /*auth=
Disallow: /*?login=
Disallow: /*?logout=
Disallow: /*?register=
Disallow: /*?forgot_password=
Disallow: /*?change_password=
Disallow: /*?back_url=
Disallow: /*?back_url_admin*
Disallow: /*back_url=
Disallow: /*back_url_admin*

# === БЛОКИРОВКА ПАРАМЕТРОВ КЕШИРОВАНИЯ И ОТЛАДКИ БИТРИКС ===
# Не влияют на контент, только на техническую отладку
Disallow: */?_ym_debug
Disallow: /*?bitrix_*=
Disallow: /*bitrix_*=
Disallow: /*?CLEAR_CACHE=
Disallow: /*?clear_cache=
Disallow: /*?clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*?bitrix_include_areas=
Disallow: /*bitrix_include_areas=
Disallow: /*?show_include_exec_time=
Disallow: /*?show_page_exec_time=
Disallow: /*?show_sql_stat=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=

# === БЛОКИРОВКА ПАРАМЕТРОВ МАРКЕТИНГА И ТРЕКИНГА ===
# Не меняют контент, только отслеживают источники
Disallow: /*?utm*=
Disallow: /*&utm*=
Disallow: /*utm*=
Disallow: /*?gclid*
Disallow: /*gclid*
Disallow: /*?yclid*
Disallow: /*yclid*
Disallow: /*?ymclid*
Disallow: /*ymclid*
Disallow: /*?_r=*
Disallow: /*?source=*
Disallow: /*source=*
Disallow: /*?placement=*
Disallow: /*placement=*
Disallow: /*?gtm_debug=*
Disallow: /*gtm_debug=*

# === БЛОКИРОВКА ПАРАМЕТРОВ ПЕЧАТИ, ПРЕДПРОСМОТРА, ЭКСПОРТА ===
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*?preview=
Disallow: /*&preview=
Disallow: /*preview=
Disallow: /*?print_course=
Disallow: /*print_course=
Disallow: /*?download
Disallow: /*download

# === БЛОКИРОВКА ПАРАМЕТРОВ СОРТИРОВКИ И ОТОБРАЖЕНИЯ (ОПЦИОНАЛЬНО) ===
# ⚠️ ВАЖНО: Если вы хотите, чтобы боты видели canonical-теги на страницах 
# с параметрами сортировки/фильтрации — РАСКОММЕНТИРУЙТЕ эти правила.
# Если используете noindex через  (как в вашем коде) — можно оставить как есть.
#
# Блокируем, чтобы не тратить краулинговый бюджет на дубли с сортировкой
#Disallow: /*?sort*=
Disallow: /*?sort_by=
Disallow: /*?sort_order=*
Disallow: /*?sort_dir=
Disallow: /*?sort_ord=
Disallow: /*?SORT=
Disallow: /*SORT=
Disallow: /*?ORDER_BY
Disallow: /*ORDER_BY
Disallow: /*?display=
Disallow: /*?list_style=
Disallow: /*?view=
Disallow: /*?VIEW*=
Disallow: /*?showBy=
Disallow: /*showBy=
Disallow: /*?SHOWBY=
Disallow: /*SHOWBY=
Disallow: /*?products_on_page=
Disallow: /*?SIZE=*
#Disallow: /*?SIZEN_1=
Disallow: /*SIZE=*

# === БЛОКИРОВКА ПАРАМЕТРОВ ФИЛЬТРАЦИИ ТОВАРОВ ===
# Фильтры создают тысячи дублей — блокируем для экономии краулингового бюджета
Disallow: /*?FILTER*=
Disallow: /*?arrFilter=
Disallow: /*?PROPERTY=*
Disallow: /*PROPERTY=*
Disallow: /*?BRAND=
Disallow: /*BRAND=
Disallow: /*?IN_STOCK=*
Disallow: /*IN_STOCK=*
Disallow: /*?max_price=
Disallow: /*?min_price=
Disallow: /*?category_id=
Disallow: /*?SECTION_ID=
Disallow: /*?SECTION_CODE=*
Disallow: /*?SECTION[*]=
Disallow: /*SECTION_CODE=*
Disallow: /*SECTION_ID=

# === БЛОКИРОВКА ВНУТРЕННИХ ПАРАМЕТРОВ БИТРИКС ===
Disallow: /*?IBLOCK_ID=*
Disallow: /*IBLOCK_ID=*
Disallow: /*?ELEMENT_ID=
Disallow: /*ELEMENT_ID=*
Disallow: /*?SECTION_ID=
Disallow: /*?RESULT_ID=*
Disallow: /*RESULT_ID=*
Disallow: /*?SPHRASE_ID=
Disallow: /*?sphrase_id
Disallow: /*SPHRASE_ID=
Disallow: /*sphrase_id
Disallow: /*?TYPE=
Disallow: /*?type=
Disallow: /*TYPE=
Disallow: /*type=
Disallow: /*?B_ORDER=
Disallow: /*B_ORDER=
Disallow: /*?r1=
Disallow: /*r1=
Disallow: /*?option=*
Disallow: /*option=*
Disallow: /*?position=*
Disallow: /*position=*
Disallow: /*?block=*
Disallow: /*block=*
Disallow: /*?how=*
Disallow: /*how=*
Disallow: /*?added=*
Disallow: /*added=*
Disallow: /*?setreg=
Disallow: /*setreg=

# === БЛОКИРОВКА ПАРАМЕТРОВ ПОИСКА И НАВИГАЦИИ ===
Disallow: /?search=
Disallow: /*?search=
Disallow: /*?q=
Disallow: /*?name=
Disallow: /*?item_id=
Disallow: /*?product_id=
Disallow: /*?oid=
Disallow: /*?p=
Disallow: /*?page=
Disallow: /*&page=
#Disallow: /*?PAGEN_1=
#Disallow: /*?PAGEN_2=
#Disallow: /*?PAGEN_3=
#Disallow: /*?PAGEN_4=
#Disallow: /*?PAGEN_5=
Disallow: /*?SHOWALL_1=
Disallow: /*?SHOWALL_2=
Disallow: /*SHOWALL=
Disallow: /*SHOW_ALL=
Disallow: /*?SHOWALL=
Disallow: /*?SHOW_ALL=

# === БЛОКИРОВКА ПРОЧИХ ТЕХНИЧЕСКИХ ПАРАМЕТРОВ ===
Disallow: /*?a=*
Disallow: /*?adv=*
Disallow: /*?amp*
Disallow: /*?by*
Disallow: /*?ei=
Disallow: /*?id=*
Disallow: /*?ORDER_ID=
Disallow: /*?pn_pr=
Disallow: /*?tab=
Disallow: /*?tags=
Disallow: /*?year=
Disallow: /*?from*
Disallow: /*&from*
Disallow: /*?new=
Disallow: /*?edit=
Disallow: /*?path=
Disallow: /*?route=
Disallow: /*?RID*
Disallow: /*?tag
Disallow: /*?tid*
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /*?showElements=
Disallow: /*showElements*
Disallow: /*?ADD_TO_COMPARE_LIST
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*index.php$

# ------------------------------------------------------------------------------
# РАЗРЕШЁННЫЕ РЕСУРСЫ (для корректной работы сайта)
# ------------------------------------------------------------------------------
Allow: /bitrix/components/
Allow: /bitrix/fonts/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /upload/*.pdf
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.jpeg
Allow: /upload/*.gif
Allow: /upload/*.webp
Allow: /upload/*.mp4

# Карта сайта
Sitemap: https://www.ntcpik.com/sitemap.xml


# =============================================================================
# ПРАВИЛА ДЛЯ ЯНДЕКС (с поддержкой Clean-param)
# =============================================================================
User-Agent: Yandex

# Повторяем основные блокировки из секции * (Яндекс обрабатывает их отдельно)
Disallow: /bitrix/
Disallow: /bitrix/panel/
Disallow: /local/
Disallow: /personal/
Disallow: /api/*
Disallow: /cgi-bin/
Disallow: /test*
Disallow: /404.php
Disallow: /auth.php
Disallow: /auth/
Disallow: */apply/*
Disallow: */filter/*
Disallow: */order/
Disallow: /*?utm*=
Disallow: /*?gclid*
Disallow: /*?yclid*
Disallow: /*?ymclid*
Disallow: /*?print=
Disallow: /*?preview=

# ⚠️ ПАРАМЕТРЫ ПАГИНАЦИИ И ФИЛЬТРОВ ДЛЯ ЯНДЕКС

# === Clean-param для Яндекса ===
# Формат: Clean-param: param1&param2&param3 /path
# Указывает Яндексу, какие параметры можно игнорировать при индексации
#
# Группа 1: Технические параметры Битрикс
Clean-param: show_include_exec_time&show_page_exec_time&show_sql_stat&bitrix_include_areas&clear_cache&clear_cache_session&ADD_TO_COMPARE_LIST&ORDER_BY&print&list_style&sort&sort_by&set_filter&arrFilter /

# Группа 2: Авторизация, сессии, маркетинг
Clean-param: order&print_course&action&register&forgot_password&change_password&login&logout&auth&backurl&back_url&BACKURL&BACK_URL&back_url_admin&utm_source&download&setreg&sphrase_id&type&product_id /

# Группа 3: Отображение, пагинация, фильтры
Clean-param: display&view_mode&view&min_price&max_price&page&path&route&products_on_page&new&edit&PAGEN_1&PAGEN_2&PAGEN_3&PAGEN_4&PAGEN_5&PAGEN_6&PAGEN_7&preview&SHOWALL&SHOW_ALL&SHOWBY&SPHRASE_ID&TYPE&utm&VIEW&SORT_TO&SORT_FIELD&alfaction /

# Группа 4: Внутренние идентификаторы и параметры
Clean-param: oid&name&form_id&bxajaxid&resize_cache&linerow&sort_ord&sort_dir&category_id&item_id&pn_pr&tab&year&SHOWALL_2&SIZEN_1&search&etext /

# Группа 5: Трекинг и внешние параметры
Clean-param: gclid&yclid&ymclid&RID&bitrix_&tag&tid&FILTER&ei&p&q&tags&B_ORDER&BRAND&CLEAR_CACHE&SECTION_ID&section_id&SORT&sort_order&_r&option&adv&source&placement&gtm_debug&callibri&position&added&SIZE&showBy&from&block&r1&_ym_debug&by&id&a&IBLOCK_ID&RESULT_ID&PROPERTY&IN_STOCK&SECTION_CODE&section_code /

Host: https://www.ntcpik.com

# =============================================================================
# БЛОКИРОВКА СПАМ-БОТОВ, СКРАПЕРОВ И АГРЕССИВНЫХ КРАУЛЕРОВ
# =============================================================================
# Эти боты не приносят трафика, только нагружают сервер
# Можно расширять список при необходимости

User-Agent: SemrushBot
Disallow: /

User-Agent: MJ12bot
Disallow: /

User-Agent: AhrefsBot
Disallow: /

User-Agent: Ahrefs
Disallow: /

User-Agent: semrush
Disallow: /

User-Agent: DotBot
Disallow: /

User-Agent: CCBot
Disallow: /

User-Agent: GPTBot
Disallow: /

User-Agent: ChatGPT-User
Disallow: /

#User-Agent: Google-Extended
#Disallow: /

User-Agent: Omgilibot
Disallow: /

User-Agent: FacebookBot
Disallow: /

User-Agent: Baiduspider
Disallow: /

User-Agent: SeznamBot
Disallow: /

User-Agent: MegaIndex.ru
Disallow: /

User-Agent: MegaIndex
Disallow: /

User-Agent: Exabot
Disallow: /

User-Agent: SerpstatBot
Disallow: /

User-Agent: Serpstat
Disallow: /

User-Agent: SeekportBot
Disallow: /

User-Agent: SISTRIX
Disallow: /

User-Agent: LinkpadBot
Disallow: /

User-Agent: DataForSeoBot
Disallow: /

User-Agent: VelenPublicWebCrawler
Disallow: /

User-Agent: Cocolyzebot
Disallow: /

User-Agent: ZoominfoBot
Disallow: /

User-Agent: CensysInspect
Disallow: /

User-Agent: ImagesiftBot
Disallow: /

#User-Agent: PerplexityBot
#Disallow: /

#User-Agent: YouBot
#Disallow: /

# === Устаревшие/небезопасные агенты ===
User-Agent: ia_archiver
Disallow: /

User-Agent: libwww-perl
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: HTTrack
Disallow: /

User-Agent: HTTrack 3.0
Disallow: /

User-Agent: WebCopier
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: EmailCollector
Disallow: /

User-Agent: EmailSiphon
Disallow: /

User-Agent: Python-urllib
Disallow: /

User-Agent: Scrapy
Disallow: /

User-Agent: Nutch
Disallow: /

User-Agent: crawler
Disallow: /        

技术搜索引擎优化

页面搜索引擎优化

内容和用户体验