www.peterharrington.co.uk

            Domain Name: PETERHARRINGTON.CO.UK
Registrar: Gandi
Domain Status: active
Creation Date: 2006-10-27T11:07:28Z
Updated Date: 2025-09-22T12:12:34.863437Z
Registry Expiry Date: 2026-10-27T12:07:28Z
Name Server: DORTHY.NS.CLOUDFLARE.COM.
Name Server: MARTY.NS.CLOUDFLARE.COM.
REGISTRAR Contact: Gandi
>>> Last update of RDAP database: 2026-08-03T04:12:34Z         

			#######################################
############# GLOBAL RULES ############
#######################################

# 27th March 2025

User-agent: *
Disallow: /
Crawl-delay: 10

##############################################
#### ALLOW ONLY IMPORTANT AND SAFE BOTS ######
##############################################

User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Mobile
User-agent: Googlebot-Video
User-agent: Googlebot-Discover
User-agent: Google PageSpeed Insights
User-agent: Google-Sitemaps
User-agent: Google-Structured-Data-Testing-Tool
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
User-agent: AdsBot-Google-Mobile
User-agent: msnbot
User-agent: msnbot-media
User-agent: Bingbot
User-agent: BingPreview
User-agent: DuckDuckBot
User-agent: Yahoo-Blogs
User-agent: Yahoo-MMCrawler
User-agent: Facebot
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: WhatsApp
User-agent: Redditbot
User-agent: LinkedInBot
User-agent: Pinterestbot
User-agent: Applebot
User-agent: Applebot-News
User-agent: Amazonbot
User-agent: SemrushBot
User-agent: SemrushBot-SI
User-agent: NostoCrawlerBot
User-agent: Zend_Http_Client
User-agent: Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)
User-agent: GPTBot
User-agent: CCBot




#######################################
############### SITEMAP ###############
#######################################

Sitemap: https://www.peterharrington.co.uk/pub/sitemaps/peterharrington/sitemap.xml

#######################################
##### BLOCK MAGENTO TECHNICAL AREAS ###
#######################################

Disallow: /404/
Disallow: /app/
Disallow: /bin/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /dev/
Disallow: /includes/
Disallow: /lib/
Disallow: /magento/
Disallow: /phpserver/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /stats/
Disallow: /var/
#Disallow: /pub/

Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt

#######################################
####### BLOCK USER-SPECIFIC PAGES #####
#######################################

Disallow: */account/*
Disallow: /customer/
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /sendfriend/
Disallow: /newsletter/
Disallow: /wishlist/
Disallow: /review/
Disallow: /tag/
Disallow: /control/

#######################################
####### BLOCK CATALOG PATHS ###########
#######################################

Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product/gallery/

# Allow search pages - previously canonicalized
Allow: /catalogsearch/

#######################################
###### BLOCK URL PARAMETERS ###########
#######################################

Disallow: /*SID=
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*

#######################################
####### WORDPRESS SUBDIRECTORY ########
#######################################

Disallow: /blog/readme.html
Disallow: /blog/refer/
Disallow: /blog/wp-*
Allow: /blog/
Allow: /blog/wp-content/uploads/

#######################################
######## SCREAMING FROG EXAMPLE #######
#######################################

#User-agent: Screaming Frog SEO Spider
#Allow: /
#Disallow: /*.gif$
#Disallow: /*.jpg$
#Disallow: /*.png$
#Disallow: /*.bmp$
#Disallow: /*.xml$
#Disallow: /*.css$
#Disallow: /*.js$