# -------------------------------------------------
# 1. Блокування приватних чи технічних директорій
# та сторінок для всіх ботів
# -------------------------------------------------
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /login/
Disallow: /register/
Disallow: /reset-password/
Disallow: /user/
Disallow: /checkout/
Disallow: /cart/
Disallow: /order/
Disallow: /search/
# Якщо вам раптом знадобиться індексувати сторінки пошуку,
# приберіть або прокоментуйте рядок вище.
# -------------------------------------------------
# 2. Дозвіл на важливі (публічні) розділи сайту
# -------------------------------------------------
Allow: /shop/
Allow: /shop/ua/
Allow: /shop/product/
Allow: /shop/search.php # Якщо цей файл потрібен для індексації
# Якщо у вас є інші важливі підрозділи /shop/, додайте їх окремо.
# -------------------------------------------------
# 3. Доступ до статичних ресурсів (CSS, JS, зображення)
# - Важливо не блокувати, щоб Google зміг візуалізувати сторінки
# -------------------------------------------------
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /Cats/img_dogs/
Allow: /Cats/img_cats/
# Якщо ваші статики лежать також у /assets/, /static/ тощо — додайте їх.
# -------------------------------------------------
# 4. Дозвіл на окремі SEO-дружні URL/статті/блог
# - Додайте тут усі URL, які точно хочете просувати
# -------------------------------------------------
Allow: /blog/
Allow: /vaccination-for-cats/
Allow: /problemy-mitok-u-kotykiv/
Allow: /choosing-dog-food/
Allow: /cat-body-language/
Allow: /cat-fur-care/
Allow: /dog-fashion/
Allow: /best-toys-for-active-cats/
Allow: /best-toys-for-active-dogs/
Allow: /pet-vaccination/
Allow: /dog-training/
Allow: /pet-parasite-protection/
Allow: /cat-intellectual-toys/
Allow: /pet-diseases/
Allow: /choosing-vet-clinic/
# Додайте будь-які інші URL, які вважаєте цінними для індексації.
# -------------------------------------------------
# 5. Карта сайту
# -------------------------------------------------
Sitemap: https://kotobook.pet/sitemap.xml
# Переконайтеся, що /sitemap.xml видає код 200
# і відображає всі потрібні сторінки.
# -------------------------------------------------
# 6. Блокування «важких» або небажаних ботів
# - Ці боти часто споживають багато ресурсів
# і не дають значущої користі для SEO.
# -------------------------------------------------
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: SEMrushBot
Disallow: /
# -------------------------------------------------
# 7. (Опціонально) Окреме уточнення для Googlebot і Bingbot
# Якщо хочете, щоб Google/Bing обходили ВСІ дисаллов,
# можна їх перевизначити (але це часто не потрібно).
# Зараз лишаємо спільні правила для всіх.
# -------------------------------------------------
# User-agent: Googlebot
# Allow: /
# User-agent: Bingbot
# Allow: /