repubblica.it: what it tells AI crawlers
On 27 October 2026, repubblica.it's robots.txt fully blocked GPTBot, Google-Extended, PerplexityBot and CCBot; it also published llms.txt.
Last verified 2026-10-28 03:59 UTC (daily run of 2026-10-27). Proof for that day.
- Panel
- top 1k (Tranco)
- robots.txt
- ok (HTTP 200) · https://www.repubblica.it/robots.txt
unchanged since 2026-10-26 · sha2562c064ff50d1ae310…· view as recorded - The * group
- allows applies to every agent without its own group
Per AI bot, 2026-10-27
| User agent | Verdict | How |
|---|---|---|
| GPTBot | blocks | named in its own group |
| OAI-SearchBot | allows | through the * group |
| ChatGPT-User | allows | through the * group |
| ClaudeBot | allows | through the * group |
| Claude-SearchBot | allows | through the * group |
| Claude-User | allows | through the * group |
| PerplexityBot | blocks | named in its own group |
| Perplexity-User | allows | through the * group |
| Googlebot | allows | through the * group |
| Google-Extended | blocks | named in its own group |
| Applebot-Extended | blocks | named in its own group |
| CCBot | blocks | named in its own group |
| Bytespider | blocks | named in its own group |
| Meta-ExternalAgent | allows | through the * group |
| Amazonbot | allows | named in its own group |
| anthropic-ai | blocks | named in its own group |
| Applebot | blocks | named in its own group |
| cohere-ai | blocks | named in its own group |
| Diffbot | blocks | named in its own group |
| DuckAssistBot | blocks | named in its own group |
| ExaBot | blocks | named in its own group |
| FacebookBot | blocks | named in its own group |
| FriendlyCrawler | blocks | named in its own group |
| ImagesiftBot | blocks | named in its own group |
| meta-externalfetcher | blocks | named in its own group |
| omgilibot | blocks | named in its own group |
| PanguBot | blocks | named in its own group |
| PetalBot | blocks | named in its own group |
| Scrapy | blocks | named in its own group |
| Timpibot | blocks | named in its own group |
| YouBot | blocks | named in its own group |
Other signals
| Publishes /llms.txt | yes |
| Publishes /ai.txt | no |
| Publishes /.well-known/tdmrep.json | no |
| Reserves TDM rights (TDMRep file, header or meta) | no |
| Declares Content Signals (robots.txt or header) | no |
| Says ai-train=no in a Content Signal | no |
| Points to an RSL licence (robots.txt License line or Link header) | no |
| Answers with an x402 payment offer (lower bound: only the homepage is probed) | no |
| Answers HTTP 402 Payment Required (lower bound: only the homepage is probed) | no |
| Sends noai / noimageai directives | no |
| Refused our fetcher (403 / challenge) | no |
llms.txt: "la Repubblica - Indice dei contenuti", 2,331 bytes, 38 links.
robots.txt as recorded sha256 b261552a5cc6261a…
User-agent: * Allow: / Disallow: /ztest/ Disallow: /vaticano/2016/11/07/news/intervista_musulmano_chierichetto_papa-151546408/ Disallow: /vaticano/2016/01/18/news/scarano_condanna_calunnia_corruzione-131527184/ Disallow: /ultimora/sport/DOPING-TNA-INIBITO-A-VITA-IL-DOTTOR-FILIPPO-MANELLI/news-dettaglio/4260320 Disallow: /ultimora/cronaca/TRAFFICO-AUTO-LUSSO-DA-GENOVA-AL-MAROCCO1-ARRESTO/news-dettaglio/3487677 Disallow: /ultimora/cronaca/NDRANGHETA-CROTONE-SI-DIMETTE-CONSIGLIERE-MERCURIO/news-dettaglio/3432840 Disallow: /ultimora/cronaca/ior-a-dicembre-il-processo-a-roma-per-monsignor-scarano/news-dettaglio/4400763 Disallow: /ultimora/cronaca/bancarotta-arrestato-mercante-d-arte-arman-golapyan/news-dettaglio/4049323 Disallow: /ultimora/24ore/VIOLENZE-SESSUALI-NELLA-PALERMO-BENE-STUDENTE-CONDANNATO/news-dettaglio/3688417 Disallow: /ultimora/24ore/TRAFFICO-AUTO-LUSSO-DA-GENOVA-AL-MAROCCO1-ARRESTO/news-dettaglio/3487676 Disallow: /ultimora/24ore/nazionale/news-dettaglio/4049323 Disallow: /ultimora/24ore/nazionale/news-dettaglio/3688417 Disallow: /ultimora/24ore/NAPOLI-RUBA-SCOOTER-E-TENTA-LA-FUGA-ARRESTATO-DALLA-POLIZIA/news-dettaglio/3703415 Disallow: /ultimora/24ore/enasarco-tre-anni-a-sergio-bille-e-altri-due/news-dettaglio/3965827 Disallow: /ultimora/24ore/CALCIO-SCONTRI-ATALANTA-CATANIA-CONDANNATI-2-ULTRAS/news-dettaglio/3725493 Disallow: /ultimora/24ore/bancarotta-arrestato-mercante-d-arte-arman-golapyan/news-dettaglio/4049323 Disallow: /topics/*?p= Disallow: /swf Disallow: /storie/economia/2012/07/02/news/san_raffaele_nuovi_arresti_in_manette_l_ex_responsabile_della_sicurezza-38377807/ Disallow: /storie/cronaca/2013/09/11/news/morte_bevilacqua_omicidio_colposo_indagati_4_medici_di_villa_mafalda-66306572/ Disallow: /storie/cronaca/2012/07/23/news/camorra_cibi-39529644/ Disallow: /storie/cronaca/2012/07/17/news/camorra_arrestato_titolare_mandara_gruppo_caseario_legato_ai_casalesi-39187056/ Disallow: /static/__sdemo__/ Disallow: /static/speciale/2011/inchieste/p4/8-case-ragazze/index.html Disallow: /static/speciale/2011/inchieste/p4/6-testimonianze/index-00.html Disallow: /static/speciale/2011/inchieste/p4/21-concussione-boschetti/ Disallow: /static/speciale/2011/inchieste/p4/15-sfruttamento-gallo/index.html Disallow: /static/speciale/2011/inchieste/ordinanza-usura/capitolo-15/index.html Disallow: /static/speciale/2011/inchieste/ordinanza-usura/capitolo-13/ Disallow: /sport/volley/2016/03/04/news/volley_da_alessia_una_schiacciata_ai_pregiudizi_e_la_prima_transgender_del_campionato_femminile-134765737/ Disallow: /sport/volley/2016/03/04/news/volley_da_alessia_una_schiacciata_ai_pregiudizi_e_la_prima_transgender_del_campionato_femminile-134765737 Disallow: /sport/vari/2015/09/15/news/wada_114_infrequentabili_doping-122935281/ Disallow: /sport/calcio/serie-a/roma/2013/11/12/news/zanzi_baldissoni_pannes-70838691/ Disallow: /sport/calcio/2012/09/17/news/zauri_riciclaggio_sampdoria_lazio-42721136/ Disallow: /sport/calcio/2012/09/17/news/zauri_riciclaggio_sampdoria_lazio-42721136 Disallow: /sport/2016/03/07/foto/pallavolo_il_debutto_di_alessia_prima_giocatrice_trans-134931736/1/#10 Disallow: /sport/2016/03/04/foto/volley_olbia_ingaggia_una_transgender_e_la_prima_volta_nella_serie_a_italiana-134766183/1/#1 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/7/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/7 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/6/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/6 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/5/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/5 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/4/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/4 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/3/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/3 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/2/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/2 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/1/# Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/1 Disallow: /sport/2012/11/03/foto/vieri_e_nabila_vacanze_a_miami-45818528/ Disallow: /sport/2012/01/11/foto/calciatore-rapinatore_arrestato_il_brasiliano_della_vibonese-27924316/1/ Disallow: /sport/2012/01/11/foto/calciatore-rapinatore_arrestato_il_brasiliano_della_vibonese-27924316/ Disallow: /speciali/politica/elezioni-europee2014/2014/05/28/news/giuliana_moi_e_la_polemica_tra_i_grillini_sulla_scoperta_misteriosa-87495739/ Disallow: /speciale/2009/appelli/dovere-di-informare-terzo/firme_raccolte_130.html Disallow: /speciale/2009/appelli/dovere-di-informare-2/firme_raccolte_192.html Disallow: /speciale/2007/appelli Disallow: /speciale/2006/appelli Disallow: /speciale/2005/appelli Disallow: /speciale/2004/appelli Disallow: /speciale/2003/appelli Disallow: /speciale/2002/appelli Disallow: /scuola/2015/02/24/news/odontoiatria_universit_albania-108107060 Disallow: /scuola/2013/11/14/news/esami_farsa_e_test_copiati_un_prof_telematico_accusa-71051464/ Disallow: /sapori/2017/02/06/news/emilia_romagna_bologna_recensione_trattoria_osteria_bottega-157678126/ Disallow: /rubriche/spycalcio/2014/08/09/news/cosa_pu_succedere_figc-93469928/ Disallow: /rubriche/poteri-invisibili/2010/12/06/news/il_sondaggista_di_macomer-9887768/ Disallow: /rubriche/la-scuola-siamo-noi/2015/03/23/news/il_consiglio_di_stato_ferma_l_universita_telematica_pegaso-110250823/ Disallow: /rubriche/la-scuola-siamo-noi/2014/01/06/news/universit_on_line_i_rettori_rispondono_alle_critiche_dell_inchiesta_ministeriale-75269682/ Disallow: /rubriche/la-scuola-siamo-noi/2013/11/05/news/il_ministero_boccia_molte_universit_telematiche_rischiano_il_ritiro_dell_accredito-70265762/ Disallow: /rubriche/la-scuola-siamo-noi/2012/05/27/news/la_mala_universit-36040561/ Disallow: /quotidiano Disallow: /protagonisti/matteo_visani Disallow: /protagonisti/Flaminio_Oggioni Disallow: /protagonisti/Fabio_Giordano Disallow: /protagonisti/Cesare_Lanati Disallow: /politica/2014/07/04/news/mose_arrestato_marco_milanese_per_corruzione-90681948/ Disallow: /politica/2014/05/29/foto/consigliera_della_lega_insulta_kyenge_in_europa_rappresentati_da_questo_cesso-87558823 Disallow: /politica/2014/04/15/foto/dell_utri_in_libano_moglie_e_figlio_volano_a_beirut_per_fargli_visita-83696057/ Disallow: /politica/2013/05/04/news/una_task_force_contro_il_femminicidio-58046176/ Disallow: /politica/2013/02/04/news/gli_affari_di_di_martino_candidato_di_monti-51959197/ Disallow: /politica/2012/10/21/news/piscicelli_politici_aquila-44898892/ Disallow: /politica/2012/10/20/news/piscicelli_politici_aquila-44898892/ Disallow: /politica/2012/06/27/news/milioni_penati-38037106/ Disallow: /politica/2012/05/31/news/piaghe_vaticano-36268784/ Disallow: /politica/2011/09/18/news/cos_silvio_mediava_per_gianpi-21831230/ Disallow: /politica/2011/08/30/news/p3_cesare-21024450/ Disallow: /politica/2011/08/01/news/tremonti_procura-19879985/ Disallow: /politica/2011/06/16/news/ruolo_papa-17795377/ Disallow: /politica/2011/04/01/news/il_sistema_mora-14346541/ Disallow: /politica/2011/02/26/news/ruby-verbali-12914359/?rss Disallow: /politica/2011/02/26/news/ruby-verbali-12914359/ Disallow: /politica/2011/01/20/news/festini_squilli_e_cocaina-11430385/ Disallow: /politica/2010/12/13/news/alemanno_buonitalia-10123954/ Disallow: /politica/2010/11/29/news/berlusconi_mi_disse_ok_al_festival_perch_voi_bulgari_avete_belle_attrici-9629637 Disallow: /politica/2010/11/28/foto/le_foto_di_licia_nunez-9609732/1 Disallow: /politica/2010/05/22/foto/i_ragazzi_del_post-it_12-4260261/25/ Disallow: /politica/2010/03/26/news/processo_mills_berlusconi-2915172/ Disallow: /politica/2010/02/21/news/ad_acapulco_o_in_malattia_per_sfuggire_all_inchiesta-2386750 Disallow: /politica/2010/02/18/news/il_provveditore_a_nostra_disposizione_altri_sciacalli_al_banchetto_dell_aquila-2340396 Disallow: /politica/2010/02/16/news/nelle_telefonate_moglie_cognati_e_figli_e_i_nomi_di_lotito_rutelli_e_leone-2314774 Disallow: /politica/2010/02/14/news/famiglia_appalti-2292371 Disallow: /politica/2010/02/13/news/feste_maddalena-2280789/ Disallow: /online3 Disallow: /online/politica/telekomserbia/svela/svela.html Disallow: /online/politica/telekomserbia/nuovo/nuovo.html Disallow: /online/politica/telekomserbia/new/new.html Disallow: /online/politica/donadini/donadini/donadini.html Disallow: /online/politica/crisidue/giuri3/giuri3.html Disallow: /online/politica/allarmeitalia/campione/campione.html Disallow: /online/fatti/spar/presi/presi.html Disallow: /online/fatti/soldi/soldi.html Disallow: /online/fatti/pedofilia/trapani/trapani.html?ref=search Disallow: /online/fatti/pedofilia/trapani/trapani.html Disallow: /online/fatti/pedo/ita/ita.html Disallow: /online/fatti/pedo/bilancio/bilancio.html Disallow: /online/fatti/enimont/enimont/enimont.html Disallow: /online/fatti/berlusca/berlusca/berlusca.html Disallow: /online/cronaca/vicenza/vicenza/vicenza.html Disallow: /online/cronaca/veronaecstasy/bologna/bologna.html Disallow: /online/cronaca/verda/verda/verda.html Disallow: /online/cronaca/semiliberi/semiliberi/semiliberi.html Disallow: /online/cronaca/palazzo/dia/dia.html Disallow: /online/cronaca/pacciani/ucciso/ucciso.html Disallow: /online/cronaca/pacciani/frattini/frattini.html Disallow: /online/cronaca/onda/argini/argini.html Disallow: /online/cronaca/omicidioroma/omicidioroma/omicidioroma.html Disallow: /online/cronaca/muccasette/colaprico/colaprico.html Disallow: /online/cronaca/mortacagliari/mortacagliari/mortacagliari.html Disallow: /online/cronaca/molinette/molinette/molinette.html Disallow: /online/cronaca/metropolitan/metropolitan/metropolitan.html Disallow: /online/cronaca/mafiarussa/mafiarussa/mafiarussa.html Disallow: /online/cronaca/furtoauto/motorino/motorino.html Disallow: /online/cronaca/eurispes/eurispes/eurispes.html Disallow: /online/cronaca/dotto/giornalista/giornalista.html Disallow: /online/cronaca/dotto/dotto/dotto.html Disallow: /online/cronaca/dandria/dandria/dandria.html Disallow: /online/cronaca/corrieri/corrieri/corrieri.html Disallow: /online/cronaca/contradaioli/contradaioli/contradaioli.html Disallow: /online/cronaca/cocaina/pellegrini/pellegrini.html Disallow: /online/cronaca/cocafinanze/mai/mai.html Disallow: /online/cronaca/cocafinanze/interce/interce.html Disallow: /online/cronaca/cocafinanze/inte/inte.html Disallow: /online/cronaca/cocafinanze/cocafinanze/cocafinanze.html Disallow: /online/cronaca/cocafinanze/carnevale/carnevale.html Disallow: /online/cronaca/cinesi/cinesi/cinesi.html Disallow: /online/cronaca/camerino/internet/internet.html Disallow: /online/cronaca/camerino/delfino/delfino.html Disallow: /online/cronaca/baffo/baffo/baffo.html Disallow: /online/cronaca/assicura/assicura/assicura.html Disallow: /nuova/ Disallow: /news/ired/ultimora/cronaca/rep_cronaca_n_3487677.html Disallow: /monitoring/ Disallow: /mobile/ Disallow: /mobile-rep/ Disallow: /java Disallow: /ipad/ Disallow: /interstitial/ Disallow: /images/2010/02/21/204020425-d68e35a6-ba77-40cf-9444-a28815124577.jpg Disallow: /esteri/2013/06/28/news/ior_arresti_prelato_007-62000215/ Disallow: /esteri/2013/02/22/news/soldi_ior-53146070/ Disallow: /esteri/2013/02/21/news/ricatti_vaticano-53080655/ Disallow: /economia/finanza/2017/01/30/news/bancarotta_mb_dieci_rinviati_a_giudizio_e_diciotto_prosciolti-157204215/ Disallow: /economia/finanza/2015/12/16/news/paolo_ligresti_assolto_da_accuse_per_falso_e_aggiotaggio-129607896/ Disallow: /economia/finanza/2015/12/14/news/caso_ciappazzi_condannati_geronzi_e_arpe_in_appello-129468969 Disallow: /economia/finanza/2015/07/22/news/fonsai_orsi_chiede_l_assoluzione_per_paolo_ligresti-119609058/ Disallow: /economia/finanza/2015/06/29/news/paolo_ligresti_fine_della_latitanza_dopo_2_anni_si_costituisce-117949776/ Disallow: /economia/finanza/2015/04/10/news/cirio_confermata_in_appello_la_condanna_a_quattro_anni_per_geronzi-111603377 Disallow: /economia/finanza/2015/02/23/news/banca_arner_chiesti_due_anni_per_il_fondatore_bravetti-108000417/ Disallow: /economia/finanza/2014/11/04/news/alma_group_arresti-99709637/ Disallow: /economia/finanza/2014/05/22/news/perquisizioni_della_gdf_nella_sede_unipolsai_nel_mirino_la_fusione_con_fondiaria-86829697/ Disallow: /economia/finanza/2014/05/22/news/perquisizioni_della_gdf_nella_sede_unipolsai_nel_mirino_la_86829697/ Disallow: /economia/finanza/2014/05/06/news/il_gup_sposta_a_milano_il_filone_di_inchiesta_mps-antonveneta-85385067/ Disallow: /economia/finanza/2014/04/10/news/fonsai_erbetta_ligresti-83215909/ Disallow: /economia/finanza/2014/03/18/news/ligresti_fonsai_processo-81269644/ Disallow: /economia/finanza/2013/11/15/news/banca_mb_chiuse_le_indagini_per_arpe_cimatti_garofano_e_fusi-71083831/ Disallow: /economia/finanza/2013/11/15/news/banca_mb_chiuse_le_indagini_per_arpe_cimatti_garofano_e_fusi-71083831 Disallow: /economia/finanza/2013/07/31/news/mps_mussari_indagato_per_insider_soffi_a_qualcuno_l_acquisto_di_antonveneta-64035287/ Disallow: /economia/finanza/2013/07/30/news/chiude_l_inchiesta_mps_otto_ex_manager_a_processo_tra_i_reati_c_anche_l_insider-64012922/ Disallow: /economia/finanza/2013/02/11/news/mps_settimana_chiave_in_procura_si_comincia_da_morelli-52410859/ Disallow: /economia/finanza/2013/01/15/news/nuova_tempesta_nei_cieli_tricolori_aga_khan_sfiducia_l_ad_meridiana-50594137/ Disallow: /economia/finanza/2012/12/04/news/telecom_patuano_il_regista_dei_dossier_illegali_l_accusa_dell_ex_manager_della_security_brasiliana-48055080/ Disallow: /economia/finanza/2012/11/06/news/lutifin_18_indagati_facevano_la_cresta_sulle_compravendite_di_titoli-46016882/ Disallow: /economia/finanza/2012/11/06/news/dossier_illegali_4_anni_a_gualtieri_il_commercialista_di_cipriani-46038099 Disallow: /economia/finanza/2012/07/18/news/unicredit_del_vecchio_sale_al_2_archviata_inchiesta_su_ubm-39261563/ Disallow: /economia/finanza/2012/07/03/news/banca_mb_11_indagati_perquisita_la_sede_dell_istituto-38455772/ Disallow: /economia/finanza/2012/04/26/news/perquisita_investimenti_sviluppo_indagato_il_numero_uno_corrado_coen-34004940/ Disallow: /economia/finanza/2011/12/15/news/crack_hdc_7_anni_a_crespi_assolti_confalonieri_e_fiorani-26647332/ Disallow: /economia/affari-e-finanza/2016/01/18/news/enpam_il_fondo_dei_medici_guarito_dai_derivati-131562936/ Disallow: /economia/affari-e-finanza/2014/04/28/news/la_tempesta_perfetta_si_abbatte_sui_bric_da_motori_della_crescita_a_giganti_in_affanno-84651142/ Disallow: /economia/affari-e-finanza/2014/01/27/news/la_bierrebi_riparte_dal_fallimento_del_fondo-77009841/ Disallow: /economia/2016/04/21/news/panama_papers_c_e_rodolfo_de_benedetti_che_spiega_societa_chiusa_-138144776/ Disallow: /economia/2016/03/18/news/petrolio_affari_e_servizi_segreti_lo_stato_nello_stato_chiamato_eni-135736121 Disallow: /economia/2016/01/19/news/gianmario_ferramonti_carboni_mi_disse_di_aiutare_etruria_su_richiesta_di_boschi_-131586416/ Disallow: /economia/2016/01/16/news/crac_banca_etruria_il_faccendiere_carboni_imbarazza_papa_boschi_l_ho_visto_due_volte_-131362471/ Disallow: /economia/2014/11/28/news/meridiana_indagati_presidente_e_tre_ad_per_operazione_air_italy-101675911/ Disallow: /economia/2014/06/03/news/fonsai-unipol_vertice_a_milano_con_i_pm_di_torino-87944105/ Disallow: /economia/2013/11/20/news/caso_fonsai_jonella_ligresti_accusa_mio_raccomand_giannini_a_berlusconi-71460060/ Disallow: /economia/2013/10/17/news/riciclaggio_fastweb-68832383/ Disallow: /economia/2013/07/17/news/l_inchiesta_milanese_su_fonsai_indagini_sull_ex_isvap_giancarlo_giannini-63148702/ Disallow: /economia/2013/07/02/news/ilva_il_pm_chiede_il_processo_per_emilio_riva_l_inchiesta_per_frode_fiscale_da_52_milioni-62262071/ Disallow: /economia/2013/05/22/news/mps_insider_trading_per_briamonte_il_consigliere_interdetto_per_2_mesi-59377267/ Disallow: /economia/2013/03/16/news/mps_scarcerato_baldassarri_ma_forse_torna_in_cella_stasera-54701041/ Disallow: /economia/2013/01/26/news/mps_ombra_tangente-51313128/ Disallow: /economia/2012/07/02/news/san_raffaele_nuovi_arresti_in_manette_l_ex_responsabile_della_sicurezza-38377807/ Disallow: /economia/2011/11/22/news/verbali_enav_borgogni-25385876/ Disallow: /economia/2011/11/22/news/verbali_enav_borgogni-25385876 Disallow: /economia/2010/05/05/news/ex_phonemedia_arresti_per_truffa-3841796 Disallow: /economia/2010/04/09/news/tasse_sparite-3212376/ Disallow: /economia/2010/04/09/news/riscossione_tasse-3212377/ Disallow: /dal-quotidiano/ Disallow: /cronaca/2016/03/11/news/appalti_anas_gdf_arresta_19_persone_coinvolti_un_avvocato_e_un_politico-135218860/ Disallow: /cronaca/2015/06/23/news/molise_arrestato_assessore_regionale_per_frode_fiscale_e_truffa_aggravata-117498866/ Disallow: /cronaca/2015/06/12/news/odevaine_buzzi_mi_dava_soldi_per_fare_il_facilitatore_-116661100/ Disallow: /cronaca/2014/07/03/foto/mose_-90629760/1/index.htm Disallow: /cronaca/2014/07/03/foto/mose_-90629760/1/#1 Disallow: /cronaca/2014/07/03/foto/mose_-90629760/1/ Disallow: /cronaca/2014/07/03/foto/mose_-90629760/ Disallow: /cronaca/2014/01/21/news/scarano_arresto-76517887/ Disallow: /cronaca/2012/10/26/news/l_aquila_arrestato_ingegnere_della_cricca_speculava_su_appalti_per_agibilit_scuole-45342884/ Disallow: /cronaca/2012/08/02/news/caos_alla_procura_di_siracusa-40254034 Disallow: /cronaca/2012/07/23/news/camorra_cibi-39529644/ Disallow: /cronaca/2012/04/18/news/arresti_clan_pesce-33495328/ Disallow: /cronaca/2011/08/31/news/berlusconi_cena_cricca-21064028/ Disallow: /cronaca/2011/08/15/news/una_leggenda_siciliana_in_musica_la_storia_del_bandito_eroe-20460717/ Disallow: /cronaca/2011/08/12/news/risate_terremoto-20350162/ Disallow: /cronaca/2011/07/10/news/milanese_inchiesta-18919342/ Disallow: /cronaca/2011/06/25/news/verbali_bisignani_interrogato-18201044/ Disallow: /cronaca/2011/06/17/news/verbali_bisignani-17806280 Disallow: /cronaca/2010/11/19/news/maxi_evasione_nel_mondo_dei_rally_arrestato_errani_frode_da_19_milioni-9270296/ Disallow: /cronaca/2010/09/04/news/appalti_e_verdetti_pilotati-6747607/ Disallow: /cronaca/2010/07/14/news/p3_verbali_carboni-5571648/ Disallow: /cronaca/2010/06/28/news/la_lobby_del_mattone_benedetta_dal_vaticano-5206869/ Disallow: /cronaca/2010/06/22/news/inchiesta_g8_simeon-5044530 Disallow: /cronaca/2010/06/21/news/domande_lunardi-5013172 Disallow: /cronaca/2010/05/17/news/inchiesta_ior-4120795/ Disallow: /cronaca/2010/02/22/news/ragnatela_bertolaso-2389122 Disallow: /cronaca/2010/02/20/news/il_costruttore_alla_moglie_del_giudice_per_la_piscina_non_pagare_niente-2366526/ Disallow: /cronaca/2010/02/11/news/il_grande_regno_dell_emergenza-2257847 Disallow: /cronaca/2009/12/31/news/legato_e_picchiato_in_caserma_milano_carabinieri_sottaccusa-1820009 Disallow: /argomenti/Rizzoli Disallow: /argomenti/risarcimento Disallow: /2011/08/31/news/berlusconi_cena_cricca-21064028/ Disallow: /2009/11/sezioni/cronaca/evasione-fiscale-pam/evasione-fiscale-pam/evasione-fiscale-pam.html Disallow: /2009/10/sezioni/cronaca/marrazzo-caso-2/verbali-bonini/verbali-bonini.html Disallow: /2009/04/sport/vari/cassara-atti-osceni/cassara-atti-osceni/cassara-atti-osceni.html Disallow: /2009/02/sezioni/cronaca/gioielliere-suicida/gioielliere-suicida/gioielliere-suicida.html Disallow: /2008/12/sezioni/economia/ricucci-patteggia/ricucci-patteggia/ricucci-patteggia.html Disallow: /2008/12/sezioni/cronaca/de-magistris/massoni-politici/massoni-politici.html Disallow: /2008/10/sezioni/cronaca/ndrangheta-arresto/crotone-europaradiso/crotone-europaradiso.html Disallow: /2008/10/sezioni/cronaca/firenze-indagini-illegali/firenze-indagini-illegali/firenze-indagini-illegali.html Disallow: /2008/10/sezioni/cronaca/camorra-3/boss-scampia/boss-scampia.html Disallow: /2008/09/sezioni/politica/forza-italia-squillo/forza-italia-squillo/forza-italia-squillo.html Disallow: /2008/09/sezioni/cronaca/mafia-5/arresti-trapani/arresti-trapani.html Disallow: /2008/07/sezioni/cronaca/arresto-gov-abruzzo-2/carcere-vendetta/carcere-vendetta.html Disallow: /2008/07/sezioni/cronaca/arrestato-re-pasta/arrestato-re-pasta/arrestato-re-pasta.html Disallow: /2008/06/sezioni/cronaca/medici-arrestati/medici-arrestati/medici-arrestati.html Disallow: /2008/05/sezioni/sport/calcio/serie_a/finale-scudetto-2/sarto-indagato/sarto-indagato.html Disallow: /2008/04/sezioni/cronaca/cadavere-sacco/silvia-sapeva/silvia-sapeva.html Disallow: /2008/03/sezioni/politica/verso-elezioni-12/andrea-verde/andrea-verde.html Disallow: /2008/02/sezioni/cronaca/genova-porto-arresto/genova-porto-arresto/genova-porto-arresto.html Disallow: /2008/01/sezioni/cronaca/sesso-terapeutico/sesso-terapeutico/sesso-terapeutico.html Disallow: /2008/01/sezioni/cronaca/denunce-vibo/tangenti-paura/tangenti-paura.html Disallow: /2007/12/sezioni/politica/verzaschi-inchiesta/verzaschi-inchiesta/verzaschi-inchiesta.html Disallow: /2007/12/sezioni/politica/berlusconi-intercetta/nuove-intercettazioni/nuove-intercettazioni.html Disallow: /2007/10/sezioni/cronaca/monsignore-gay/reazioni-chiesa/reazioni-chiesa.html Disallow: /2007/09/sezioni/cronaca/pm-catanzaro/procura-commenti/procura-commenti.html Disallow: /2007/09/sezioni/cronaca/misex/misex/misex.html Disallow: /2007/08/sezioni/cronaca/mafia-arresti/mafia-arresti/mafia-arresti.html Disallow: /2007/07/sezioni/cronaca/parmalat-giudizio/parmalat-giudizio/parmalat-giudizio.html Disallow: /2007/07/sezioni/cronaca/catania-gelosia/catania-gelosia/catania-gelosia.html Disallow: /2007/06/sezioni/cronaca/inchiesta-catanzaro/inchiesta-catanzaro/inchiesta-catanzaro.html Disallow: /2007/05/sezioni/cronaca/perugia-arresti/perugia-arresti/perugia-arresti.html Disallow: /2007/04/sezioni/sport/calcio/juve-milan-telefonate/juve-milan-telefonate/juve-milan-telefonate.html Disallow: /2007/04/sezioni/sport/calcio/dossier-intercettazioni/potere-moggi/potere-moggi.html Disallow: /2007/03/sezioni/cronaca/corona4/corona4/corona4.html Disallow: /2007/03/sezioni/cronaca/corona3/pasotti-interrogato/pasotti-interrogato.html Disallow: /2007/03/sezioni/cronaca/corona-fermato/nuovo-arresto/nuovo-arresto.html Disallow: /2007/03/sezioni/cronaca/arrestato-coppola/ultimo-furbetti/ultimo-furbetti.html Disallow: /2007/01/sezioni/politica/inchiesta-citta/potere-potenza/potere-potenza.html Disallow: /2006/c/sezioni/cronaca/ladrisegr3/portavoce/portavoce.html Disallow: /2006/c/sezioni/cronaca/ladrisegr2/rappcarab/rappcarab.html Disallow: /2006/a/sezioni/cronaca/fctiondra/fctiondra/fctiondra.html Disallow: /2006/12/sezioni/persone/gossip-coppie/gossip-coppie/gossip-coppie.html Disallow: /2006/12/sezioni/cronaca/cragnotti-indagato/cragnotti-indagato/cragnotti-indagato.html Disallow: /2006/11/sezioni/cronaca/sismi-mancini-7/pollari-ritratto/pollari-ritratto.html Disallow: /2006/10/sezioni/cronaca/inchiesta-asl9-fortugno/inchiesta-asl9-fortugno3/inchiesta-asl9-fortugno3.html Disallow: /2006/10/sezioni/cronaca/inchiesta-asl9-fortugno/inchiesta-asl9-fortugno/inchiesta-asl9-fortugno.html Disallow: /2006/10/sezioni/cronaca/immigrati/immigrati-caltanissetta/immigrati-caltanissetta.html Disallow: /2006/09/sezioni/cronaca/bille-arresti/bille-arresti/bille-arresti.html Disallow: /2006/08/sezioni/cronaca/ds-arrestato/ds-arresto-dichiarazioni/ds-arresto-dichiarazioni.html Disallow: /2006/08/sezioni/cronaca/ds-arrestato/ds-arrestato/ds-arrestato.html Disallow: /2006/07/sezioni/scuola_e_universita/servizi/scuola-2007/pirani-cattedre-facili/pirani-cattedre-facili.html Disallow: /2006/07/sezioni/cronaca/stupro-brescia/stupro-brescia/stupro-brescia.html Disallow: /2006/07/sezioni/cronaca/arresti-sanita-roma/arresti-sanita-roma/arresti-sanita-roma.html Disallow: /2006/06/sezioni/cronaca/vittorio-emanuele-5/indagini-su-rai/indagini-su-rai.html Disallow: /2006/06/sezioni/cronaca/arrestato-vittorio-emanuele/le-intercettazioni/le-intercettazioni.html Disallow: /2006/06/sezioni/cronaca/arrestato-vittorio-emanuele/coinvolto-figlio/coinvolto-figlio.html Disallow: /2006/05/sezioni/persone/falso-organista-vaticano/falso-organista-vaticano/falso-organista-vaticano.html Disallow: /2006/05/sezioni/cronaca/telecom-schedava/telecom-schedava/telecom-schedava.html Disallow: /2006/05/sezioni/cronaca/spionaggio-calcio/telecom-fastweb/telecom-fastweb.html Disallow: /2006/05/gallerie/politica/offese-da-premier-86/2.html Disallow: /2006/05/gallerie/politica/offese-da-premier-55/1.html Disallow: /2006/05/gallerie/politica/offese-da-premier-116/3.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-95/esterne191030071909103240_big.jpg Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-95/esterne191030071909103240.jpg Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-83/3.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-7/21.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-68/24.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-47/25.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-41/19.html Disallow: /2006/05/gallerie/politica/farabutti-foto-lettori-132/17.html Disallow: /2006/05/dirette/sezioni/calcio/scandalocalcio/scandalocalcio2/index.html Disallow: /2006/04/sezioni/economia/inchiesta-banche/inchiesta-ricucci/inchiesta-ricucci.html Disallow: /2006/04/sezioni/economia/inchiesta-banche/inchiesta-banche/inchiesta-banche.html Disallow: /2006/04/motori/maggio-2006/truffa-supercar/truffa-supercar.html Disallow: /2005/l/sezioni/cronaca/elenadivuomo/elenadivuomo/elenadivuomo.html Disallow: /2005/k/sezioni/cronaca/spacciotrapani/spacciotrapani/spacciotrapani.html Disallow: /2005/j/sezioni/cronaca/romabene/romabene/romabene.html Disallow: /2005/e/sezioni/cronaca/mafiamessina/mafiamessina/mafiamessina.html Disallow: /2005/d/sezioni/cronaca/compagniavolare/compagniavolare/compagniavolare.html Disallow: /2005/c/sezioni/cronaca/salerno/salerno/salerno.html Disallow: /2005/b/rubriche/letterealdirettore/stalliere-precario/stalliere-precario.html Disallow: /2005/b/rubriche/letterealdirettore/requiem/requiem.html Disallow: /2004/l/sezioni/cronaca/uccbimba/uccbimba/uccbimba.html Disallow: /2004/l/sezioni/cronaca/uccbimba/crmnn/crmnn.html Disallow: /2004/k/sezioni/cronaca/roxana/roxana/roxana.html Disallow: /2004/k/sezioni/cronaca/reggiode/sisno/sisno.html Disallow: /2004/k/sezioni/cronaca/reggiode/reggiode/reggiode.html Disallow: /2004/j/sezioni/cronaca/milionidollari/milionidollari/milionidollari.html Disallow: /2004/h/sezioni/cronaca/roccasindaco/piemme/piemme.html Disallow: /2004/f/sezioni/cronaca/cardiologi/cardiologi/cardiologi.html Disallow: /2004/c/sezioni/cronaca/arabi/arabi/arabi.html Disallow: /2004/b/sezioni/cronaca/ominovara2/ominovara2/ominovara2.html Disallow: /2004/a/sezioni/economia/finmatica/revoca/revoca.html Disallow: /2004/a/sezioni/economia/finmatica/custodia/custodia.html Disallow: /2004/a/sezioni/economia/cirio2/scarcera/scarcera.html Disallow: /2003/j/sezioni/politica/telekomserbiaquattro/ruolo/ruolo.html Disallow: /2003/i/sezioni/politica/telekomserbia3/taormina/taormina.html Disallow: /2003/i/sezioni/politica/telekomserbia3/taormi/taormi.html Disallow: /2003/i/sezioni/politica/telekomserbia3/lungo/lungo.html Disallow: /2003/i/sezioni/politica/telekomserbia3/dubbi/dubbi.html Disallow: /2003/i/sezioni/politica/telekomserbia3/dubbi/dubbi. Disallow: /2003/i/sezioni/politica/telekomserbia3/caso/caso.html Disallow: /2003/i/sezioni/politica/telekomserbia2/dini/dini.html Disallow: /2003/h/sezioni/politica/telekomserbia/nomi/nomi.html Disallow: /2003/g/sezioni/cronaca/ruvo/ruvo/ruvo.html
robots.txt versions
| From | Through | State | Version | |
|---|---|---|---|---|
| 2026-10-26 | 2026-10-27 | ok 200 | 2c064ff50d1a |
Timeline of changes
| Date | What changed |
|---|---|
| No changes since the first observation (2026-10-26). | |
Reconstructed history (Common Crawl)
From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.
| Crawl | Host | State | GPTBot | OAI-SearchBot | ChatGPT-User | ClaudeBot | Claude-SearchBot | Claude-User | PerplexityBot |
|---|---|---|---|---|---|---|---|---|---|
| 2026-09-21 CC-MAIN-2026-39 | www.repubblica.it | ok view | blocks | allows | unknown | allows | allows | unknown | blocks |
| 2025-09-15 CC-MAIN-2025-38 | www.repubblica.it | ok view | blocks | allows | unknown | allows | allows | unknown | blocks |
| 2024-09-16 CC-MAIN-2024-38 | www.repubblica.it | ok view | blocks | allows | unknown | allows | allows | unknown | allows |
| 2023-10-02 CC-MAIN-2023-40 | www2.repubblica.it | ok view | blocks | blocks | unknown | blocks | blocks | unknown | blocks |
| 2022-10-03 CC-MAIN-2022-40 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2021-09-27 CC-MAIN-2021-39 | repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2020-09-28 CC-MAIN-2020-40 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2019-09-23 CC-MAIN-2019-39 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-09-24 CC-MAIN-2018-39 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2018-01-29 CC-MAIN-2018-05 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-10-23 CC-MAIN-2017-43 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-09-25 CC-MAIN-2017-39 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-07-24 CC-MAIN-2017-30 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2017-04-24 CC-MAIN-2017-17 | repubblica.it | soft404 | unknown | unknown | unknown | unknown | unknown | unknown | unknown |
| 2017-01-23 CC-MAIN-2017-04 | repubblica.it | soft404 | unknown | unknown | unknown | unknown | unknown | unknown | unknown |
| 2016-10-03 CC-MAIN-2016-40 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
| 2016-09-05 CC-MAIN-2016-36 | www.repubblica.it | ok view | allows | allows | unknown | allows | allows | unknown | allows |
Evidence
Every daily observation of repubblica.it is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-27: audit path (JSON), day root and OpenTimestamps proof (complete (bitcoin block 973493)).
API: https://infrarabbit.com/crawlers/api/v1/policy/repubblica.it