kleinanzeigen.de: what it tells AI crawlers

On 27 October 2026, kleinanzeigen.de's robots.txt allowed all of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot and CCBot.

Last verified 2026-10-28 03:59 UTC (daily run of 2026-10-27). Proof for that day.

Panel

top 1k (Tranco)

robots.txt

ok (HTTP 200) · https://www.kleinanzeigen.de/robots.txt
unchanged since 2026-10-27 · sha256 ca72c9cec8444af0… · view as recorded

The * group

allows applies to every agent without its own group

Per AI bot, 2026-10-27

Other signals

robots.txt as recorded sha256 c7b23cdf348a2813…

User-agent: *
Disallow: /account/index.html
Disallow: /ad/
Disallow: /annonces/
Disallow: /back-from-mobile.html
Disallow: /boutiques/
Disallow: /ck/
Disallow: /classified/latest/
Disallow: /dc/accessibilite
Disallow: /dc/decisions_de_justice
Disallow: /m-abmelden.html
Disallow: /m-anzeige-loeschen.html
Disallow: /m-anzeige-loeschen-mail.html
Disallow: /m-anzeige-pausieren.html
Disallow: /m-anzeige-verlaengern-mail.html
Disallow: /m-benutzer-aktivierung.html
Disallow: /m-benutzer-aktivierungsmail.html
Disallow: /m-bestellung-abgeschlossen.html
Disallow: /m-bestellung-aufnehmen.html
Disallow: /m-einspruch-erheben.html
Disallow: /m-einstellungen.html
Disallow: /m-einstellungen-bearbeiten.html
Disallow: /m-merkliste.html
Disallow: /m-merkliste-bearbeiten.html
Disallow: /m-nutzer-entfolgen-ajax.html
Disallow: /m-nutzer-folgen-ajax.html
Disallow: /m-passwort-erneuern.html
Disallow: /m-passwort-vergessen.html
Disallow: /m-pp-rt.html
Disallow: /m-suche-verwenden.html
Disallow: /m-verkaufsschild-erstellen.html
Disallow: /m-meine-nutzer.html
Disallow: /m-meine-suchen.html
Disallow: /m-verifikation.html
Disallow: /maklerempfehlung
Disallow: /m-maklerempfehlung-abmelden.html
Disallow: /m-maklerempfehlung-leaddaten.html
Disallow: /messages/
Disallow: /zur-merkliste.html
Disallow: /p-anzeige-abschicken.html
Disallow: /p-anzeige-aufgeben-bestaetigung.html
Disallow: /p-anzeige-bearbeiten.html
Disallow: /p-anzeige-vorschau.html
Disallow: /p-bild-hochladen.html
Disallow: /p-kategorie-aendern.html
Disallow: /s-druckansicht.html
Disallow: /s-feed.rss
Disallow: /s-kategorie-baum.html
Disallow: /s-suchanfrage.html
Disallow: /m-einloggen.html
Disallow: /m-einloggen-sso.html
Disallow: /m-login-bestaetigen.html
Disallow: /poc-astro
Disallow: /s-oac
Disallow: /s-poac
Disallow: /search
Disallow: /SEARCH
Disallow: /HOME
Disallow: /BROWSE
Disallow: /VIP
Disallow: /PVIP
Disallow: /MVIP
Disallow: /EVIP
Disallow: /DVIP
Disallow: /facebook/
Disallow: /*/topAds
Disallow: /*/s-anzeige:gesuche
Disallow: /*/anzeige:gesuche
Disallow: /*/s-anzeige:angebote
Disallow: /*/anzeige:angebote
Disallow: /*/s-direktkaufen:aktiv
Disallow: /s-direktkaufen:aktiv
Disallow: /*/direktkaufen:aktiv
Disallow: /s-paketdienst:*
Disallow: /*/paketdienst:*
Disallow: /*+options:*
Disallow: /*/anbieter:*
Disallow: /*/sortierung:*
Disallow: /*sortierung:entfernung*
Disallow: /*/preis:*
Disallow: /*/k0*r30
Disallow: /*/k0*r150
Disallow: /*/l*r30
Disallow: /*/l*r150
Disallow: /*/c*r30
Disallow: /*/c*r150
Disallow: /*/k0*r5
Disallow: /*/k0*r10
Disallow: /*/k0*r20
Disallow: /*/k0*r50
Disallow: /*/k0*r100
Disallow: /*/k0*r200
Disallow: /*/l*r5
Disallow: /*/l*r10
Disallow: /*/l*r20
Disallow: /*/l*r50
Disallow: /*/l*r100
Disallow: /*/l*r200
Disallow: /*/c*r5
Disallow: /*/c*r10
Disallow: /*/c*r20
Disallow: /*/c*r50
Disallow: /*/c*r100
Disallow: /*/c*r200
Disallow: /*.json
Disallow: /*@lt
Disallow: /*simcid=*
Disallow: /api
Disallow: /belen-gateway/*
Disallow: /*autos.anzahl_tueren_s*
Disallow: /*autos.km_i*
Disallow: /*autos.ez_i*
Disallow: /*autos.material_innenausstattung_s*
Disallow: /*autos.power_i*
Disallow: /*autos.schaden_s*
Disallow: /*autos.schadstoffklasse_s*
Disallow: /*autos.tuevy_i*
Disallow: /*autos.umweltplakette_s*
Disallow: /*versand_s*
Disallow: /*versand:*
Disallow: /*condition_s*
Disallow: /*kleidung_herren.groesse_s*
Disallow: /*kleidung_damen.groesse_s*
Disallow: /*schuhe_damen.groesse_s*
Disallow: /*schuhe_herren.groesse_s*
Disallow: /*hunde.geimpft_s*
Disallow: /*hunde.erlaubnis_s*
Disallow: /*katzen.geimpft_s*
Disallow: /*katzen.erlaubnis_s*
Disallow: /*auf_zeit_wg.mietart_s*
Disallow: /*auf_zeit_wg.rauchen_s*
Disallow: /*ferienwohnung_ferienhaus.location_s*
Disallow: /*garage_lagerraum.provision_s*
Disallow: /*gewerbeimmobilien.provision_s*
Disallow: /*grundstuecke_garten.provision_s*
Disallow: /*grundstuecke_garten.type_s*
Disallow: /*grundstuecke_garten.art_s*
Disallow: /*haus_mieten.haustyp_s*
Disallow: /*online_tour_s*
Disallow: /*simcid=*
Disallow: /*wohnung_mieten.swap_s*
Disallow: /*work_experience_s*
Disallow: /*working_hours_s*
Disallow: /*vermisste_tiere.art_s*
Disallow: /*zubehoer.type_s*
Disallow: /*zubehoer.art_s*
Disallow: /gdpr/*
Disallow: /liberty/*
Disallow: /bffstatic/*
Disallow: /*wohnung_kaufen.etage_i*
Disallow: /*wohnung_mieten.etage_i*
Disallow: /*.qm_d*
Disallow: /*.zimmer_d*
Disallow: /*.verfuegbarm_i*
Disallow: /*gewerbeimmobilien.preis_pro_qm_d*
Disallow: /*auf_zeit_wg.anzahl_mitbewohner_i*
Disallow: /*haus_kaufen.grundstuecksflaeche_d*
Disallow: /*motorraeder_roller.km_i*
Disallow: /*motorraeder_roller.ez_i*
Disallow: /*motorraeder_roller.hubraum_i*
Disallow: /*motorraeder_roller.leistung_i*
Disallow: /*motorraeder_roller.tuevy_i*
Disallow: /*wohnwagen_mobile.ez_i*
Disallow: /*.wage_d*

User-agent: Adsbot-Google
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: zoomRank/2.0
Disallow: /

User-agent: Google-Display-Ads-Bot
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

Sitemap: https://www.kleinanzeigen.de/sitemap_index.xml

robots.txt versions

Timeline of changes

Reconstructed history (Common Crawl)

From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.

Evidence

Every daily observation of kleinanzeigen.de is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-27: audit path (JSON), day root and OpenTimestamps proof (complete (bitcoin block 973493)).

API: https://infrarabbit.com/crawlers/api/v1/policy/kleinanzeigen.de