HTTPS surface reachable (robots ✓, sitemap ✗, title ✓)
Why it matters: Public files — robots.txt, sitemap.xml, head meta — are what attackers see first during reconnaissance. Misadvertised paths, stale sitemaps, and verbose generators leak more than intended (ISO 27001 A.8.9).
robots.txt
present
# Toute utilisation de nos contenus protégés autre qu'un usage strictement individuel (incluant notamment l'entraînement des grands modèles de langage (LLM),
# l'entraînement des outils d'intelligence artificielle, la veille web ou le media monitoring) est conditionnée à la conclusion d'une licence d'utilisation
# avec la SOCIETE DU FIGARO. Nous vous invitons à cette fin à contacter syndication-service@lefigaro.fr.
#
# Toute utilisation non-autorisée de nos contenus protégés est constitutive d'une contrefaçon de droit d'auteur et/ou du droit de producteur
# de base de données et susceptible d'être poursuivie.
#
# Il est interdit de crawler notre site web en utilisant un agent d'utilisateur (user agent) volé qui ne correspond pas à votre identité.
# L'utilisation des robots d'indexation web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web n'est pas autorisée.
User-agent: *
Disallow: /async/
Disallow: /*?noheader*
Disallow: /*?*&noheader*
Disallow: /*?sfdebug*
Disallow: /*?*&sfdebug*
Disallow: /brouillon/
Disallow: /proxy/
Disallow: /synsearch/
Disallow: /a-savoir-en-france/
Disallow: /vos-questions
#LLM
User-agent: ChatGPT-User
Allow: /voyages
Allow: /culture
Allow: /style
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Claude-SearchBot
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Claude-Web
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: OAI-SearchBot
Allow: /voyages
Allow: /culture
Allow: /style
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Claude-User
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: ChatGPT Agent
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: GoogleAgent-Mariner
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Google-NotebookLM
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Google-CloudVertexBot
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: MistralAI-User
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: Gemini-Deep-Research
Allow: /voyages
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /
User-agent: CloudVertexBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
#Crawler
User-agent: Alexibot
Disallow: /
User-agent: AlvinetSpider
Disallow: /
User-agent: AmiSoftware
Disallow: /
User-agent: Antenne Hatena
Disallow: /
User-agent: ApocalXExplorerBot
Disallow: /
User-agent: Argus
Disallow: /
User-agent: Ask n read
Disallow: /
User-agent: asknread.com
Disallow: /
User-agent: asterias
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Cegbfeieh
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: ConveraCrawler
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: cydralspider
Disallow: /
User-agent: DISCo Pump 3.1
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: eureka
Disallow: /
User-agent: Explore
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Flamingo_SearchEngine
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: gammaSpider
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: hloader
Disallow: /
User-agent: httpl
head
- title
- Le Figaro - Actualité en direct et informations en continu
- description
- —
social
no OpenGraph or Twitter meta tags found