############################################################
# TELEGRAPH ONLINE — MAXIMUM AI & SEARCH VISIBILITY POLICY
# Full access granted to all major and emerging AI crawlers,
# search engines, archives, and research tools.
############################################################
###############
# GLOBAL RULE #
###############
User-agent: *
Allow: /
Disallow: /wptemp/wp-admin/
Allow: /wptemp/wp-admin/admin-ajax.php
Sitemap: https://telegraph.com/sitemap_index.xml
##########################################
# AI CRAWLERS — CURRENT & EMERGING (2025)
##########################################
# OpenAI — ChatGPT, GPTBot, Model Browsing
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ChatGPT-User-Agent
Allow: /
# Anthropic — Claude AI
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
# Google AI / Gemini / SGE
User-agent: Google-Extended
Allow: /
User-agent: GoogleOther
Allow: /
# Bing / Microsoft AI (Copilot)
User-agent: Bingbot
Allow: /
User-agent: BingPreview
Allow: /
# Apple AI Crawlers — Siri, Spotlight, Apple Intelligence
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /
# Perplexity AI
User-agent: PerplexityBot
Allow: /
# Meta AI (Facebook / Instagram LLM training)
User-agent: Meta-External-Agent
Allow: /
# xAI / Musk (Grok)
User-agent: xAI-Client
Allow: /
User-agent: xAI-Crawler
Allow: /
# CCBot (Common Crawl — used by many AI models)
User-agent: CCBot
Allow: /
###############################################
# SOCIAL MEDIA / PREVIEW / LINK EXPANDER BOTS
###############################################
User-agent: FacebookBot
Allow: /
User-agent: LinkedInBot
Allow: /
User-agent: Twitterbot
Allow: /
User-agent: WhatsApp
Allow: /
#####################################
# CHINESE SEARCH & CONTENT CRAWLERS
#####################################
User-agent: Baiduspider
Allow: /
User-agent: SogouSpider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: YisouSpider
Allow: /
# ByteDance / TikTok
User-agent: Bytespider
Allow: /
User-agent: TikTokBot
Allow: /
###########################
# YANDEX / RUSSIAN CRAWLERS
###########################
User-agent: Yandex
Allow: /
User-agent: YandexBot
Allow: /
User-agent: YandexImages
Allow: /
User-agent: YandexBrowser
Allow: /
#####################################
# ARCHIVE / ACADEMIC / RESEARCH BOTS
#####################################
# Internet Archive — Wayback Machine
User-agent: ia_archiver
Allow: /
User-agent: archive.org_bot
Allow: /
User-agent: ia_archiver-web.archive.org
Allow: /
# Semantic Scholar (research ingestion)
User-agent: SemanticScholarBot
Allow: /
# Coccocbot (Vietnamese search — academic scraping)
User-agent: coccocbot
Allow: /
# ArchiveTeam (rare but useful)
User-agent: archiveteam
Allow: /
#########################################
# STANDARD SEARCH ENGINES & META SEARCH
#########################################
User-agent: Googlebot
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: Slurp
Allow: /
User-agent: PetalBot
Allow: /
##############################################################
# OPTIONAL: ALLOW MASKED AI AGENTS IDENTIFYING AS MOZILLA/5.0
##############################################################
User-agent: Mozilla/5.0 (compatible; GPTBot)
Allow: /
User-agent: Mozilla/5.0 (Linux; Claude)
Allow: /
User-agent: Mozilla/5.0 (compatible; AI-Indexer)
Allow: /
################################
# END OF FILE
################################