cdnvideo.ru: what it tells AI crawlers

On 28 October 2026, cdnvideo.ru's robots.txt allowed all of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot and CCBot.

Last verified 2026-10-29 03:59 UTC (daily run of 2026-10-28). Proof for that day.

Panel

top 1k (Tranco)

robots.txt

ok (HTTP 200) · https://cdnvideo.ru/robots.txt
unchanged since 2026-10-26 · sha256 6b7b423840217701… · view as recorded

The * group

partial applies to every agent without its own group

Per AI bot, 2026-10-28

Other signals

robots.txt as recorded sha256 031a067340b58304…

User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикса
Disallow: /*index.php$      # дубли страниц index.php
Disallow: /auth/            # авторизация
Disallow: *auth=            # авторизация
Disallow: /personal/        # личный кабинет
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login=           # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *print=           # печать
Disallow: *?new=Y           # новая страница
Disallow: *?edit=           # редактирование
Disallow: *?preview=        # предпросмотр
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=         
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=    
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=  
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL= 
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=        
Disallow: *TYPE=
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *sphrase_id*
Disallow: *cm_id*
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *from=            # ссылки с метками from
Disallow: *etext*

Disallow: /gateway-to-rus/*
Disallow: /techweek2022/*
Disallow: /blog/rabotaem-v-stabilnom-rezhime/*
Disallow: /info/*
Disallow: /cabinet/*
Disallow: /cart/*
Disallow: /einvoice/*
Disallow: /ajax/*
Disallow: /app/*
Disallow: /.well-known/*
Disallow: /staff/*
Disallow: /menus/*
Disallow: /tochki-obmena/*
Disallow: /dokumentatsiya/*
Disallow: /form/*
Disallow: /help-tags/*
Disallow: /images/*
Disallow: /include/*
Disallow: /interaktivnyj-pleer/*
Disallow: /landings/*
Disallow: /opisanie-servisov-cdn/*
Disallow: /paid-details/*
Disallow: /rekomendovannye-nastrojki-potokov/*
Disallow: /skachat-issledovanie-ob-uskorenii-saita/*
Disallow: /support/*
Disallow: /ustanovochnyj-zvonok/*
Disallow: /solutions/fiz/*
Disallow: /solutions/fiz/
Disallow: /blog/sre-reshenie-ne-tolko-tehnicheskih-no-i-biznesovyh-problem/
Disallow: /blog/amazon-web-services-aws-i-godaddy-stali-nedostupnymi/
Disallow: /blog/aiops-vmesto-devops-razbiraemsya/
Disallow: /blog/arm-protsessory-harakteristiki-i-osobennosti/
Disallow: /blog/microsoft-sap-amazon-aws-obyavili-ob-otklyuchenii-chto-dalshe/
Disallow: /blog/chego-zhdat-posle-prekrashheniy/

Clean-param: sphrase_id
Clean-param: cm_id
Clean-param: utm
Clean-param: etext



Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.svg
Allow: */sitemap-html/
Allow: /include/*.css
Allow: /wp-content/*


Allow: */search/*tags=*                   # здесь и далее отрываем для индексации ключевые ТЕГи
#Allow: */search/*tags=Ускорение+сайта
#Allow: */search/*tags=Оптимизация+контента
#Allow: */search/*tags=Оптимизация+изображений
#Allow: */search/*tags=Облачные+серверы+АРМ
#Allow: */search/*tags=Облачное+хранилище+S3
#Allow: */search/*tags=Виртуальный+диктор
#Allow: */search/*tags=Live+streaming
#Allow: */search/*tags=Видео+и+стриминг
#Allow: */search/*tags=Облачная+инфраструктура
#Allow: */search/*tags=Медиаплатформа


# Укажите один или несколько файлов Sitemap

Sitemap: https://www.cdnvideo.ru/new-sitemap.xml

robots.txt versions

Timeline of changes

Reconstructed history (Common Crawl)

From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.

Evidence

Every daily observation of cdnvideo.ru is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-28: audit path (JSON), day root and OpenTimestamps proof (complete (bitcoin block 973640)).

API: https://infrarabbit.com/crawlers/api/v1/policy/cdnvideo.ru