nvidia.com: what it tells AI crawlers

On 28 October 2026, nvidia.com's robots.txt allowed all of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot and CCBot; it also published llms.txt.

Last verified 2026-10-29 03:59 UTC (daily run of 2026-10-28). Proof for that day.

Panel

top 1k (Tranco)

robots.txt

ok (HTTP 200) · https://www.nvidia.com/robots.txt
unchanged since 2026-10-26 · sha256 5069f0e6713ea599… · view as recorded

The * group

allows applies to every agent without its own group

Per AI bot, 2026-10-28

Other signals

Content signals: ai-train=yes, search=yes, ai-input=yes for *

llms.txt: "no H1 title", 2,745 bytes, 20 links.

robots.txt as recorded sha256 e0bb501f66b78fe8…

#
# Welcome to NVIDIA 
#
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@%#@#////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@//////////@@@@@@@@@@@@///////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@//////@@@@@@@@/////////@@@@@@@///////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@//////@@@@@@//////@@@@@@@//////@@@@@@////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@//////@@@@@//////@@@@///@@@@@@@/////&@@@@@//////////////@@@@@@@@@@@@@@@@@@
#@@@@@@//////@@@@////@@@@@@@/////@@@@/////@@@@@@///////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@/////@@@@/////@@@@@////////////@@@@@///////@//////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@//////@@@@/////@@@/////////@@@@@///////@@@@@@@@//////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@//////@@@@@/////@@@@@@@@@@////////@@@@@@@@@@@//////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@//////@@@@@@@/////////////@@@@@@@@@@@///////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@/////////%/////@@@@@@@@@@@@@/////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@&///@@@@@@@@///////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#
# We dig it when people read our code! Check out the jobs while you're here.
# https://www.nvidia.com/en-us/about-nvidia/careers/
#
# Or check out our YouTube channel for our latest
# https://www.youtube.com/user/nvidia
#
# Last updated 7 Feb 2024 by LC

sitemap: https://www.nvidia.com/content/dam/sitemaps/sitemap_index.xml

User-agent: *

# Gated Content
Disallow: /content/g/*
Disallow: /content/gated-pdfs/*
Disallow: /content/*/gated-resources/*
Disallow: /content/*/gated-pdfs/*
Disallow: /gated-resources/*

# GF Forums
Disallow: /*?topicPage=
Disallow: /*&topicPage=
Disallow: /*?commentPage=
Disallow: /*&commentPage=

Disallow: /admin/

Disallow: /attach/

Disallow: /content/experience-fragments/*

Disallow: /content/forms/

Disallow: /content/license/driver_license.aspx

Disallow: /content/nvidiaGDC.*\.(?!png|jpg|svg).+$

Disallow: /content/temp/*

Disallow: /ddl2*

Disallow: /email-verify/*

Disallow: /forms/*

Disallow: /geforce/release-notes/GFE/Rich/*

Disallow: /geforce/release-notes/GFN/Rich/*

Disallow: /geforce/release-notes/GFNB/Rich/*

Disallow: /geforce/billboards/*

Disallow: /geforce/news/gfecnt/*

Disallow: /processFind*

Disallow: /props/

Disallow: /*.swf$

# Parameters

Disallow: /*eid?

Disallow: /*?cid*
Disallow: /*&cid*

Disallow: /*?ncid*
Disallow: /*&ncid*

Disallow: /*?nvid*
Disallow: /*&nvid*

Disallow: /*?link*
Disallow: /*&link*

Disallow: /*?lx*
Disallow: /*&lx*

Disallow: /*?nv_excludes*
Disallow: /*&nv_excludes*

Disallow: /*?jso*
Disallow: /*&jso*

Disallow: /*?page*
Disallow: /*&page*

Disallow: /*?section*
Disallow: /*&section*

Disallow: /*?topicpage*
Disallow: /*&topicpage*

Disallow: /*?utm*
Disallow: /*&utm*

# GTC Fixes

Disallow: /*?regcode*
Disallow: /*&regcode*

Disallow: /*?wcmmode*
Disallow: /*&wcmmode*

User-agent: NvidiaCrawler
Disallow: /on-demand/session/*

robots.txt versions

Timeline of changes

Reconstructed history (Common Crawl)

From Common Crawl's robots.txt captures: what CCBot was served, one crawl per quarter. A separate series from the daily observations above; a 403 here means Common Crawl was refused, not this ledger.

Evidence

Every daily observation of nvidia.com is a leaf in that day's Merkle tree. Proof of the robots.txt line for 2026-10-28: audit path (JSON), day root and OpenTimestamps proof (pending (4 calendars)).

API: https://infrarabbit.com/crawlers/api/v1/policy/nvidia.com