MonacoSearchBot

English summary below.

Qui sommes-nous ?

MonacoSearchBot est le robot d'indexation d'un petit moteur de recherche hébergé à Monaco, utilisé par Mity et le navigateur Monaco. C'est un annuaire : il lit la page d'accueil de chaque site (une visite par site), et ne suit les articles que des sites d'actualité. Les autres pages ne sont consultées qu'à la demande, via le sitemap du site.

Ce que fait le robot

• Il lit robots.txt, les sitemaps et les flux RSS/Atom déclarés.
• Il respecte strictement robots.txt et Crawl-delay, et n'envoie jamais plus d'une requête par seconde à un même hôte.
• Il ne conserve que le titre, la description, la date et un court extrait (300 caractères au maximum). Le texte intégral n'est jamais republié.
• Il ne contourne aucun CAPTCHA ni aucune protection anti-robot.

Bloquer le robot

Ajoutez ceci à votre robots.txt :

User-agent: MonacoSearchBot
Disallow: /

La règle est prise en compte au plus tard 24 heures après sa publication.

Contact

bot@mity.mc

English

MonacoSearchBot builds a site directory for a small search engine hosted in Monaco (Mity): one visit to each site's home page, article crawling for news sites only, other pages only on demand through the site's sitemap. It obeys robots.txt and Crawl-delay, sends at most one request per second per host, and keeps only titles, descriptions, dates and short excerpts. To block it, add User-agent: MonacoSearchBot / Disallow: / to your robots.txt. Contact: bot@mity.mc