nvidia.com: what it tells AI crawlers

On 27 October 2026, nvidia.com's robots.txt allowed all of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot and CCBot; it also published llms.txt.

Last verified 2026-10-28 03:59 UTC (daily run of 2026-10-27). Proof for that day.

Panel

top 1k (Tranco)

robots.txt

ok (HTTP 200) · https://www.nvidia.com/robots.txt
unchanged since 2026-10-26 · sha256 5069f0e6713ea599… · view as recorded

The * group

allows applies to every agent without its own group

Per AI bot, 2026-10-27

Other signals

Content signals: ai-train=yes, search=yes, ai-input=yes for *

llms.txt: "no H1 title", 2,745 bytes, 20 links.

robots.txt as recorded sha256 5069f0e6713ea599…

#
# Welcome to NVIDIA
#
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@%#@#////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@//////////@@@@@@@@@@@@///////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@//////@@@@@@@@/////////@@@@@@@///////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@//////@@@@@@//////@@@@@@@//////@@@@@@////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@//////@@@@@//////@@@@///@@@@@@@/////&@@@@@//////////////@@@@@@@@@@@@@@@@@@
#@@@@@@//////@@@@////@@@@@@@/////@@@@/////@@@@@@///////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@/////@@@@/////@@@@@////////////@@@@@///////@//////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@//////@@@@/////@@@/////////@@@@@///////@@@@@@@@//////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@//////@@@@@/////@@@@@@@@@@////////@@@@@@@@@@@//////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@//////@@@@@@@/////////////@@@@@@@@@@@///////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@/////////%/////@@@@@@@@@@@@@/////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@&///@@@@@@@@///////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#
# We dig it when people read our code! Check out the jobs while you're here.
# https://www.nvidia.com/en-us/about-nvidia/careers/
#
# Or check out our YouTube channel for our latest
# https://www.youtube.com/user/nvidia
#
# Last updated 11 Aug 2026 by RR
#

Sitemap: https://www.nvidia.com/sitemap_index.xml
LLMs.txt: https://www.nvidia.com/llms.txt


# AI / LLM crawlers & fetchers

User-agent: *
Content-Signal: ai-train=yes, search=yes, ai-input=yes
Allow: /


# Disallow Rules

User-agent: *

# Gated Content
Disallow: /content/g/*
Disallow: /content/gated-pdfs/*
Disallow: /content/*/gated-resources/*
Disallow: /content/*/gated-pdfs/*
Disallow: /gated-resources/*

# GF Forums
Disallow: /*?topicPage=
Disallow: /*&topicPage=
Disallow: /*?commentPage=
Disallow: /*&commentPage=

# Account & Authentication
Disallow: /*/training/academy/auth/
Disallow: /*/training/academy/login/

Disallow: /admin/
Disallow: /attach/
Disallow: /content/experience-fragments/*
Disallow: /content/forms/
Disallow: /content/license/driver_license.aspx
Disallow: /content/nvidiaGDC.*\.(?!png|jpg|svg).+$
Disallow: /content/temp/*
Disallow: /ddl2*
Disallow: /email-verify/*
Disallow: /forms/*
Disallow: /*/geforce/release-notes/GFE/Rich/*
Disallow: /*/geforce/release-notes/GFN/Rich/*
Disallow: /*/geforce/release-notes/GFNB/Rich/*
Disallow: /*/geforce/comparisons/*
Disallow: /*/geforce/billboards/*
Disallow: /*/geforce/news/gfecnt/*
Disallow: /processFind*
Disallow: /props/
Disallow: /*.swf$

# Parameters
Disallow: /*accessToken=*
Disallow: /*cid=*
Disallow: /*eid=*
Disallow: /*hstc=*
Disallow: /*jso=*
Disallow: /*link=*
Disallow: /*lx=*
Disallow: /*ncid=*
Disallow: /*nv_excludes=*
Disallow: /*nvid=*
Disallow: /*page=*
Disallow: /*ref=*
Disallow: /*srsltid=*
Disallow: /*section=*
Disallow: /*target=*
Disallow: /*topicpage=*
Disallow: /*utm* 
Disallow: /*search.industrysegment=*
Disallow: /*search.keytheme=*
Disallow: /*search.sessiontype=*
Disallow: /*search.technicallevel=*
Disallow: /*search.productstechnology=*

# GTC Fixes

Disallow: /*[?&]regcode=*
Disallow: /*[?&]wcmmode=*
Disallow: /*/gtc/gtc-chatbot/*

robots.txt versions

Timeline of changes

Reconstructed history (Common Crawl)

From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.

Evidence

Every daily observation of nvidia.com is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-27: audit path (JSON), day root and OpenTimestamps proof (complete (bitcoin block 973493)).

API: https://infrarabbit.com/crawlers/api/v1/policy/nvidia.com