# Robots.txt fuer lz.de
# Stand: 18.05.2026
# Modus: Safe Mode (KI geblockt, Social Media & Suche erlaubt)

##################################################
# 1. KI-Crawler & aggressive Scraper sperren
##################################################
# Die Grossen (OpenAI, Google AI, Anthropic, Perplexity)
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Google-Extended
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot

# Apple KI (nur Extended sperren, Siri/Spotlight bleibt an)
User-agent: Applebot-Extended

# Aggressive Scraper / China-Bots
User-agent: Bytespider
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: omgili
User-agent: omgilibot
User-agent: Scrapy
User-agent: DeepSeekBot
User-agent: DeepSeek

# Meta/Facebook NUR fuer AI-Training sperren
# (Wichtig: FacebookBot hier NICHT sperren, sonst gehen Link-Vorschauen kaputt!)
User-agent: Meta-ExternalAgent

Disallow: /

##################################################
# 2. Regeln fuer alle anderen Crawler (inkl. Googlebot)
##################################################
User-agent: *

# --- Temporary Allow rules for GSC validation ---
Allow: /_em_cms/globals/print.php
Allow: /_em_cms/globals/send.php
Allow: /microsites/dpa_fotostrecken/
Allow: /microsites/dpa_bilder_des_tages/
Allow: /tagsuche/

# --- Permanent Allow rules for e.g. legal pages ---
Allow: /_em_cms/globals/csslibs.php
Allow: /_em_cms/globals/jslibs.php
Allow: /_em_cms/globals/acon.php
Allow: /_em_cms/globals/aauth.php
Allow: /microsites/autorenprofil/
Allow: /microsites/impressum
Allow: /microsites/datenschutz
Allow: /microsites/barrierefreiheitserklaerung
Allow: /microsites/agb

# Disallow rules for system, technical or unimportant paths
Disallow: /_em_cms/
Disallow: /cms7/
Disallow: /frage/
Disallow: /suche/
Disallow: /profil/
Disallow: /service/angebote/checkout/

##################################################
# 3. Sitemaps
##################################################
Sitemap: https://www.lz.de/sitemap_lz_index.xml.gz
Sitemap: https://www.lz.de/sitemap_lz_index_news.xml.gz
Sitemap: https://www.lz.de/sitemap_lz_index_media.xml.gz
Sitemap: https://www.lz.de/_retresco/sitemap/index.xml

##################################################
# 4. Rechtlicher Hinweis / Legal Notice (Par. 44b UrhG)
##################################################
# Hinweis (DE):
# LZ.de behaelt sich die Nutzung seiner Inhalte fuer kommerzielles
# Text- und Data-Mining im Sinne von Par. 44b UrhG ausdruecklich vor.
# Der Einsatz von Crawling-Bots, Scrapern oder sonstigen automatisierten Verfahren
# ist ohne vorherige schriftliche Zustimmung untersagt.
#
# Legal notice (EN):
# lz.de expressly reserves the right to use its content for commercial
# text and data mining within the meaning of Par. 44b of the German Copyright Act.
# Any use of robots or automated means without prior written permission is prohibited.