kleinanzeigen.de: what it tells AI crawlers
On 28 October 2026, kleinanzeigen.de's robots.txt allowed all of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot and CCBot.
Last verified 2026-10-29 03:59 UTC (daily run of 2026-10-28). Proof for that day.
- Panel
- top 1k (Tranco)
- robots.txt
- ok (HTTP 200) · https://www.kleinanzeigen.de/robots.txt
unchanged since 2026-10-27 · sha256ca72c9cec8444af0…· view as recorded - The * group
- allows applies to every agent without its own group
Per AI bot, 2026-10-28
| User agent | Verdict | How |
|---|---|---|
| GPTBot | allows | named in its own group |
| OAI-SearchBot | allows | named in its own group |
| ChatGPT-User | allows | named in its own group |
| ClaudeBot | allows | through the * group |
| Claude-SearchBot | allows | through the * group |
| Claude-User | allows | through the * group |
| PerplexityBot | allows | named in its own group |
| Perplexity-User | allows | through the * group |
| Googlebot | allows | through the * group |
| Google-Extended | allows | through the * group |
| Applebot-Extended | allows | through the * group |
| CCBot | allows | through the * group |
| Bytespider | allows | through the * group |
| Meta-ExternalAgent | allows | through the * group |
| Amazonbot | allows | through the * group |
Other signals
| Publishes /llms.txt | no |
| Publishes /ai.txt | no |
| Publishes /.well-known/tdmrep.json | not observed |
| Reserves TDM rights (TDMRep file, header or meta) | not observed |
| Declares Content Signals (robots.txt or header) | no |
| Says ai-train=no in a Content Signal | no |
| Points to an RSL licence (robots.txt License line or Link header) | no |
| Answers with an x402 payment offer (lower bound: only the homepage is probed) | no |
| Answers HTTP 402 Payment Required (lower bound: only the homepage is probed) | no |
| Sends noai / noimageai directives | no |
| Refused our fetcher (403 / challenge) | no |
robots.txt as recorded sha256 e47778a5428e1c5a…
User-agent: * Allow: /?utm_source=ekde$ Disallow: /*?utm_source=ekde Disallow: /account/index.html Disallow: /ad/ Disallow: /annonces/ Disallow: /back-from-mobile.html Disallow: /boutiques/ Disallow: /ck/ Disallow: /classified/latest/ Disallow: /dc/accessibilite Disallow: /dc/decisions_de_justice Disallow: /m-abmelden.html Disallow: /m-anzeige-loeschen.html Disallow: /m-anzeige-loeschen-mail.html Disallow: /m-anzeige-pausieren.html Disallow: /m-anzeige-verlaengern-mail.html Disallow: /m-benutzer-aktivierung.html Disallow: /m-benutzer-aktivierungsmail.html Disallow: /m-bestellung-abgeschlossen.html Disallow: /m-bestellung-aufnehmen.html Disallow: /m-einspruch-erheben.html Disallow: /m-einstellungen.html Disallow: /m-einstellungen-bearbeiten.html Disallow: /m-merkliste.html Disallow: /m-merkliste-bearbeiten.html Disallow: /m-nutzer-entfolgen-ajax.html Disallow: /m-nutzer-folgen-ajax.html Disallow: /m-passwort-erneuern.html Disallow: /m-passwort-vergessen.html Disallow: /m-pp-rt.html Disallow: /m-suche-verwenden.html Disallow: /m-verkaufsschild-erstellen.html Disallow: /m-meine-nutzer.html Disallow: /m-meine-suchen.html Disallow: /m-verifikation.html Disallow: /checkout.html Disallow: /loesungscenter.html Disallow: /wallet.html Disallow: /maklerempfehlung Disallow: /m-maklerempfehlung-abmelden.html Disallow: /m-maklerempfehlung-leaddaten.html Disallow: /messages/ Disallow: /zur-merkliste.html Disallow: /p-anzeige-abschicken.html Disallow: /p-anzeige-aufgeben-bestaetigung.html Disallow: /p-anzeige-bearbeiten.html Disallow: /p-anzeige-vorschau.html Disallow: /p-bild-hochladen.html Disallow: /p-kategorie-aendern.html Disallow: /s-feed.rss Disallow: /s-kategorie-baum.html Disallow: /s-bestandsliste.html Disallow: /s-suchanfrage.html Disallow: /m-einloggen.html Disallow: /m-einloggen-sso.html Disallow: /m-login-bestaetigen.html Disallow: /poc-astro Disallow: /s-oac Disallow: /s-poac Disallow: /search Disallow: /SEARCH Disallow: /HOME Disallow: /BROWSE Disallow: /VIP Disallow: /PVIP Disallow: /MVIP Disallow: /EVIP Disallow: /DVIP Disallow: /facebook/ Disallow: /*/topAds Disallow: /*/s-anzeige:gesuche Disallow: /*/anzeige:gesuche Disallow: /*/s-anzeige:angebote Disallow: /*/anzeige:angebote Disallow: /*/s-direktkaufen:aktiv Disallow: /s-direktkaufen:aktiv Disallow: /*/direktkaufen:aktiv Disallow: /s-paketdienst:* Disallow: /*/paketdienst:* Disallow: /*+options:* Disallow: /*/anbieter:* Disallow: /*/sortierung:* Disallow: /*sortierung:entfernung* Disallow: /*/preis:* Disallow: /*/k0*r30 Disallow: /*/k0*r150 Disallow: /*/l*r30 Disallow: /*/l*r150 Disallow: /*/c*r30 Disallow: /*/c*r150 Disallow: /*/k0*r5 Disallow: /*/k0*r10 Disallow: /*/k0*r20 Disallow: /*/k0*r50 Disallow: /*/k0*r100 Disallow: /*/k0*r200 Disallow: /*/l*r5 Disallow: /*/l*r10 Disallow: /*/l*r20 Disallow: /*/l*r50 Disallow: /*/l*r100 Disallow: /*/l*r200 Disallow: /*/c*r5 Disallow: /*/c*r10 Disallow: /*/c*r20 Disallow: /*/c*r50 Disallow: /*/c*r100 Disallow: /*/c*r200 Disallow: /*/k0*r1 Disallow: /*/k0*r2 Disallow: /*/k0*r15 Disallow: /*/c*r1 Disallow: /*/c*r2 Disallow: /*/c*r15 Disallow: /*/l*r1 Disallow: /*/l*r2 Disallow: /*/l*r15 Disallow: /*.json Disallow: /*@lt Disallow: /*simcid=* Disallow: /api Disallow: /belen-gateway/* Disallow: /*autos.anzahl_tueren_s* Disallow: /*autos.km_i* Disallow: /*autos.ez_i* Disallow: /*autos.material_innenausstattung_s* Disallow: /*autos.power_i* Disallow: /*autos.schaden_s* Disallow: /*autos.schadstoffklasse_s* Disallow: /*autos.tuevy_i* Disallow: /*autos.umweltplakette_s* Disallow: /*versand_s* Disallow: /*versand:* Disallow: /*condition_s* Disallow: /*kleidung_herren.groesse_s* Disallow: /*kleidung_damen.groesse_s* Disallow: /*schuhe_damen.groesse_s* Disallow: /*schuhe_herren.groesse_s* Disallow: /*hunde.geimpft_s* Disallow: /*hunde.erlaubnis_s* Disallow: /*katzen.geimpft_s* Disallow: /*katzen.erlaubnis_s* Disallow: /*auf_zeit_wg.mietart_s* Disallow: /*auf_zeit_wg.rauchen_s* Disallow: /*ferienwohnung_ferienhaus.location_s* Disallow: /*garage_lagerraum.provision_s* Disallow: /*gewerbeimmobilien.provision_s* Disallow: /*grundstuecke_garten.provision_s* Disallow: /*grundstuecke_garten.type_s* Disallow: /*grundstuecke_garten.art_s* Disallow: /*haus_mieten.haustyp_s* Disallow: /*online_tour_s* Disallow: /*simcid=* Disallow: /*wohnung_mieten.swap_s* Disallow: /*work_experience_s* Disallow: /*working_hours_s* Disallow: /*vermisste_tiere.art_s* Disallow: /*zubehoer.type_s* Disallow: /*zubehoer.art_s* Disallow: /gdpr/* Disallow: /liberty/* Disallow: /bffstatic/* Disallow: /*wohnung_kaufen.etage_i* Disallow: /*wohnung_mieten.etage_i* Disallow: /*.qm_d* Disallow: /*.zimmer_d* Disallow: /*.verfuegbarm_i* Disallow: /*gewerbeimmobilien.preis_pro_qm_d* Disallow: /*auf_zeit_wg.anzahl_mitbewohner_i* Disallow: /*haus_kaufen.grundstuecksflaeche_d* Disallow: /*motorraeder_roller.km_i* Disallow: /*motorraeder_roller.ez_i* Disallow: /*motorraeder_roller.hubraum_i* Disallow: /*motorraeder_roller.leistung_i* Disallow: /*motorraeder_roller.tuevy_i* Disallow: /*wohnwagen_mobile.ez_i* Disallow: /*.wage_d* Disallow: /*.gehausegrosse_i* Disallow: /*.wearables.ringgrosse_i* Disallow: /*.*_s:(*,* Disallow: /*.*_s:(*%2C* Disallow: /*.*_s:(*%2c* Disallow: /*.*_i:(*,* Disallow: /*.*_i:(*%2C* Disallow: /*.*_i:(*%2c* Disallow: /*.*_d:(*,* Disallow: /*.*_d:(*%2C* Disallow: /*.*_d:(*%2c* Disallow: /*.*_b:(*,* Disallow: /*.*_b:(*%2C* Disallow: /*.*_b:(*%2c* Disallow: /*?*view=karte Disallow: /*%%E Disallow: /*%E8%AF%81 Disallow: /*%E4%B8%9A%E8%AF%81 Disallow: /*%E5%A4%A7 Disallow: /*%E5%81%87 Disallow: /*%E5%9F%9F Disallow: /*/seite:6* Disallow: /*/seite:7* Disallow: /*/seite:8* Disallow: /*/seite:9* Disallow: /*/seite:10* Disallow: /*/seite:11* Disallow: /*/seite:12* Disallow: /*/seite:13* Disallow: /*/seite:14* Disallow: /*/seite:15* Disallow: /*/seite:16* Disallow: /*/seite:17* Disallow: /*/seite:18* Disallow: /*/seite:19* Disallow: /*/seite:20* Disallow: /*/seite:21* Disallow: /*/seite:22* Disallow: /*/seite:23* Disallow: /*/seite:24* Disallow: /*/seite:25* Disallow: /*/seite:26* Disallow: /*/seite:27* Disallow: /*/seite:28* Disallow: /*/seite:29* Disallow: /*/seite:30* Disallow: /*/seite:31* Disallow: /*/seite:32* Disallow: /*/seite:33* Disallow: /*/seite:34* Disallow: /*/seite:35* Disallow: /*/seite:36* Disallow: /*/seite:37* Disallow: /*/seite:38* Disallow: /*/seite:39* Disallow: /*/seite:40* Disallow: /*/seite:41* Disallow: /*/seite:42* Disallow: /*/seite:43* Disallow: /*/seite:44* Disallow: /*/seite:45* Disallow: /*/seite:46* Disallow: /*/seite:47* Disallow: /*/seite:48* Disallow: /*/seite:49* Disallow: /*/seite:50* Disallow: /*/seite:51* Disallow: /*/seite:52* Disallow: /*/seite:53* Disallow: /*/seite:54* Disallow: /*/seite:55* Disallow: /*/seite:56* Disallow: /*/seite:57* Disallow: /*/seite:58* Disallow: /*/seite:59* User-agent: Adsbot-Google Disallow: User-agent: Mediapartners-Google Disallow: User-agent: zoomRank/2.0 Disallow: / User-agent: Google-Display-Ads-Bot Disallow: User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Allow: / Disallow: /m-anzeige-loeschen.html Disallow: /m-benutzer-aktivierungsmail.html Disallow: /m-bestellung-aufnehmen.html Disallow: /m-einspruch-erheben.html Disallow: /m-einstellungen.html Disallow: /m-nachrichten.html Disallow: /m-meine-anzeigen.html Disallow: /m-einstellungen-bearbeiten.html Disallow: /m-merkliste.html Disallow: /m-merkliste-bearbeiten.html Disallow: /m-nutzer-entfolgen-ajax.html Disallow: /m-nutzer-folgen-ajax.html Disallow: /m-passwort-erneuern.html Disallow: /m-passwort-vergessen.html Disallow: /m-meine-nutzer.html Disallow: /m-meine-suchen.html Disallow: /m-verifikation.html Disallow: /checkout.html Disallow: /loesungscenter.html Disallow: /wallet.html Disallow: /maklerempfehlung Disallow: /m-benutzer-anmeldung.html Disallow: /m-maklerempfehlung-abmelden.html Disallow: /m-maklerempfehlung-leaddaten.html Disallow: /p-anzeige-abschicken.html Disallow: /p-anzeige-aufgeben-bestaetigung.html Disallow: /p-anzeige-bearbeiten.html Disallow: /p-anzeige-vorschau.html Disallow: /p-bild-hochladen.html Disallow: /p-kategorie-aendern.html Disallow: /s-kategorie-baum.html Disallow: /s-bestandsliste.html Disallow: /s-suchanfrage.html Disallow: /m-einloggen.html Disallow: /m-einloggen-sso.html Disallow: /m-login-bestaetigen.html Disallow: /gdpr/* Disallow: /liberty/* Disallow: /bffstatic/* User-agent: ChatGPT-User Allow: / Disallow: /m-anzeige-loeschen.html Disallow: /m-benutzer-aktivierungsmail.html Disallow: /m-bestellung-aufnehmen.html Disallow: /m-einspruch-erheben.html Disallow: /m-einstellungen.html Disallow: /m-nachrichten.html Disallow: /m-meine-anzeigen.html Disallow: /m-einstellungen-bearbeiten.html Disallow: /m-merkliste.html Disallow: /m-merkliste-bearbeiten.html Disallow: /m-nutzer-entfolgen-ajax.html Disallow: /m-nutzer-folgen-ajax.html Disallow: /m-passwort-erneuern.html Disallow: /m-passwort-vergessen.html Disallow: /m-meine-nutzer.html Disallow: /m-meine-suchen.html Disallow: /m-verifikation.html Disallow: /checkout.html Disallow: /loesungscenter.html Disallow: /wallet.html Disallow: /maklerempfehlung Disallow: /m-benutzer-anmeldung.html Disallow: /m-maklerempfehlung-abmelden.html Disallow: /m-maklerempfehlung-leaddaten.html Disallow: /p-anzeige-abschicken.html Disallow: /p-anzeige-aufgeben-bestaetigung.html Disallow: /p-anzeige-bearbeiten.html Disallow: /p-anzeige-vorschau.html Disallow: /p-bild-hochladen.html Disallow: /p-kategorie-aendern.html Disallow: /s-kategorie-baum.html Disallow: /s-bestandsliste.html Disallow: /s-suchanfrage.html Disallow: /m-einloggen.html Disallow: /m-einloggen-sso.html Disallow: /m-login-bestaetigen.html Disallow: /gdpr/* Disallow: /liberty/* Disallow: /bffstatic/* User-agent: PerplexityBot Allow: / Disallow: /m-anzeige-loeschen.html Disallow: /m-benutzer-aktivierungsmail.html Disallow: /m-bestellung-aufnehmen.html Disallow: /m-einspruch-erheben.html Disallow: /m-einstellungen.html Disallow: /m-nachrichten.html Disallow: /m-meine-anzeigen.html Disallow: /m-einstellungen-bearbeiten.html Disallow: /m-merkliste.html Disallow: /m-merkliste-bearbeiten.html Disallow: /m-nutzer-entfolgen-ajax.html Disallow: /m-nutzer-folgen-ajax.html Disallow: /m-passwort-erneuern.html Disallow: /m-passwort-vergessen.html Disallow: /m-meine-nutzer.html Disallow: /m-meine-suchen.html Disallow: /m-verifikation.html Disallow: /checkout.html Disallow: /loesungscenter.html Disallow: /wallet.html Disallow: /maklerempfehlung Disallow: /m-benutzer-anmeldung.html Disallow: /m-maklerempfehlung-abmelden.html Disallow: /m-maklerempfehlung-leaddaten.html Disallow: /p-anzeige-abschicken.html Disallow: /p-anzeige-aufgeben-bestaetigung.html Disallow: /p-anzeige-bearbeiten.html Disallow: /p-anzeige-vorschau.html Disallow: /p-bild-hochladen.html Disallow: /p-kategorie-aendern.html Disallow: /s-kategorie-baum.html Disallow: /s-bestandsliste.html Disallow: /s-suchanfrage.html Disallow: /m-einloggen.html Disallow: /m-einloggen-sso.html Disallow: /m-login-bestaetigen.html Disallow: /gdpr/* Disallow: /liberty/* Disallow: /bffstatic/* User-agent: AmazonAdBot Disallow: Sitemap: https://www.kleinanzeigen.de/sitemap_index.xml
robots.txt versions
| From | Through | State | Version | |
|---|---|---|---|---|
| 2026-10-27 | 2026-10-28 | ok 200 | ca72c9cec844 | diff with previous |
| 2026-10-26 | 2026-10-26 | ok 200 | e47778a5428e |
Timeline of changes
| Date | What changed |
|---|---|
| 2026-10-27 | robots.txt changed |
Reconstructed history (Common Crawl)
From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.
| Crawl | Host | State | GPTBot | OAI-SearchBot | ChatGPT-User | ClaudeBot | Claude-SearchBot | Claude-User | PerplexityBot |
|---|---|---|---|---|---|---|---|---|---|
| 2026-09-21 CC-MAIN-2026-39 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2025-09-15 CC-MAIN-2025-38 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2024-09-16 CC-MAIN-2024-38 | www.kleinanzeigen.de | ok view | blocks | allows | unknown | allows | allows | unknown | allows |
| 2023-10-02 CC-MAIN-2023-40 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2022-10-03 CC-MAIN-2022-40 | kleinanzeigen.de | fetch-blocked | unknown | unknown | unknown | unknown | unknown | unknown | unknown |
| 2021-09-27 CC-MAIN-2021-39 | kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2020-09-28 CC-MAIN-2020-40 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2019-09-23 CC-MAIN-2019-39 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-09-24 CC-MAIN-2018-39 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-07-23 CC-MAIN-2018-30 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-04-23 CC-MAIN-2018-17 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-01-29 CC-MAIN-2018-05 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-10-23 CC-MAIN-2017-43 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-09-25 CC-MAIN-2017-39 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-07-24 CC-MAIN-2017-30 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-04-24 CC-MAIN-2017-17 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-01-23 CC-MAIN-2017-04 | kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2016-10-03 CC-MAIN-2016-40 | www.kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2016-09-05 CC-MAIN-2016-36 | kleinanzeigen.de | ok view | allows | allows | unknown | allows | allows | unknown | allows |
Evidence
Every daily observation of kleinanzeigen.de is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-28: audit path (JSON), day root and OpenTimestamps proof (complete (bitcoin block 973640)).
API: https://infrarabbit.com/crawlers/api/v1/policy/kleinanzeigen.de