随着大语言模型的快速发展，让一个之前不太被人注意的问题浮出水面——你的网站内容很可能已经被用来训练各种 AI 模型了。ChatGPT、Claude、Gemini 这些模型，它们的训练数据大量来自公开网页，除非你明确告诉它们「不可以」。
这种情况下，LLMs.txt 这个协议应运而生。它有点像 robots.txt，但针对的是 AI 爬虫，而不是搜索引擎爬虫。这篇文章会详细解释 LLMs.txt 是什么、如何运作，以及你该如何配置它。
什么是 LLMs.txt？
LLMs.txt 是一个放在你域名根目录的纯文本文件，用来告诉 AI 爬虫它们可以用你的内容做什么。它的核心目的是让你有机会决定：你的公开内容是否能成为 GPTBot、ClaudeBot 或 Google-Extended 这些 AI 爬虫的训练数据。
需要明确一点：这只是一个「请求」或「声明」，而不是强制指令。AI 公司可以选择是否遵守，但从目前趋势看，主流厂商都在逐步支持这个协议。
这个文件的内容通常包括：
- 针对不同 AI 爬虫的访问权限设置
- 特定内容是否可用于模型训练
- 网站参与 AI 生成答案的方式
- 数据使用规则的透明声明
这个协议出现的背景是，AI 公司在大规模抓取网络数据用于训练，而网站所有者之前缺乏一个标准化的方式来表达自己的意愿。OpenAI、Anthropic 和 Google 相继宣布支持 LLMs.txt，就是回应了这种需求。
为什么现在需要关注 LLMs.txt？
AI 模型的训练依赖海量数据，而这些数据大部分来自公开网络。当 OpenAI 在 2023 年推出 GPTBot 时，也同时提供了让网站选择退出的机制。Google 随后推出了 Google-Extended，Anthropic 也类似。
这个变化的关键在于：除非你明确表态，否则你的内容可能已经被纳入 AI 生态系统了。
LLMs.txt 正在成为一个行业标准，因为它填补了一个空白——网站所有者之前没有一个正式途径来表达内容能否被用于模型训练。现在你可以通过一个文件来影响这个决策。
另一个考虑是，生成式搜索工具越来越多地依赖训练数据来产生答案。如果你阻止 AI 爬虫，你的内容可能不会出现在那些 AI 生成的回复中。如果允许访问，你的内容就有机会在对话式回答中被引用。没有绝对正确的选择，取决于你的策略。
LLMs.txt 如何工作？
LLMs.txt 文件结构很简单，和 robots.txt 类似。AI 爬虫在抓取你的网站时，会首先检查这个文件，了解你的规则。
文件位置
文件必须放在网站根目录：
yoursite.com/llms.txt
子目录下不起作用。这个位置是公开可访问的，任何人都能通过 URL 查看，透明性也是这个协议的设计特点之一。
可配置的内容
在 LLMs.txt 中，你可以为不同的 AI 爬虫设置允许或禁止的规则。示例：
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Allow: /
你可以设置全局权限，也可以只允许特定爬虫访问。
目前已支持此协议的爬虫
以下主要的 AI 爬虫会自动检查 LLMs.txt 文件：
- GPTBot（OpenAI）— 支持选择加入或退出的训练规则
- Google-Extended — 用于 Google 的生成式 AI 系统
- ClaudeBot（Anthropic）— 遵循网站级别的指令
- CCBot（Common Crawl）— 为许多模型提供数据
- PerplexityBot — 2024 年开始支持
虽然各厂商的支持程度还有差异，但趋势很明显：越来越多的 AI 爬虫在围绕 LLMs.txt 建立统一标准。
LLMs.txt 与 robots.txt 的区别
这两个文件功能互补但不相同。
robots.txt 控制的是传统搜索引擎爬虫如何抓取和索引你的内容，关注的是 SEO：可发现性、抓取预算、页面如何出现在搜索结果中。
LLMs.txt 影响的是 AI 模型能否将你的内容用于训练。它的目标是告知模型爬虫是否可以读取、存储和学习你的页面。
主要区别如下：
| 维度 | robots.txt | LLMs.txt |
|---|---|---|
| 主要对象 | Googlebot、Bingbot 等搜索引擎爬虫 | GPTBot、ClaudeBot、Google-Extended 等 AI 爬虫 |
| 影响结果 | 搜索排名和索引 | 内容在生成式 AI 中的呈现 |
| 控制性质 | 较强制性的指令 | 目前更接近「声明」 |
| 风险收益 | 影响搜索可见性 | 影响品牌在 AI 回答中的曝光度及专有内容的控制 |
考虑到搜索引擎结果中 AI 生成内容的比重在增加，这两个文件未来会变得越来越重要。
谁最需要 LLMs.txt？
不同类型的网站受益程度不同：
- 内容密集型网站：出版商、教育机构、文档库通常希望更清晰地规范内容如何被 AI 使用。
- 拥有专有内容的品牌：如果你的收入来自高级报告、付费内容或专业数据集，LLMs.txt 提供了必要的保护层。
- 关注 AI 搜索的运营者：随着生成式结果越来越普遍，许多人希望控制内容如何被 AI 答案引擎使用。LLMs.txt 可以在保证可见性的同时设定边界。
- 有合规要求的行业：医疗、金融、法律等行业通常需要严格的数据处理规则，阻止 AI 爬虫是其治理措施的一部分。
LLMs.txt 不是一劳永逸的决定，你可以随着 AI 生态的变化随时更新。
如何配置 LLMs.txt
配置过程很简单，大约只需要几分钟。
第一步：创建文件
用任何纯文本编辑器创建一个名为 llms.txt 的新文件。
建议在文件开头添加注释说明：
# LLMs.txt — AI 爬虫访问规则配置
# 最后更新: 2026-09-03
第二步：设置爬虫指令
定义哪些爬虫可以访问你的内容。一些常用示例：
允许所有 AI 爬虫访问：
User-agent: *
Allow: /
阻止所有 AI 爬虫访问：
User-agent: *
Disallow: /
针对不同爬虫分别设置：
User-agent: GPTBot
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
更精细的控制——只允许访问特定目录：
User-agent: GPTBot
Allow: /blog/
Disallow: /internal/
第三步：上传至根目录
将文件上传到你的网站根目录，确保可以通过以下地址访问：
https://yoursite.com/llms.txt
不同服务器环境的部署方式：
Nginx：
如果根目录在 /var/www/html/，直接将文件放在该目录：
scp llms.txt user@your-server:/var/www/html/
Apache：
通常放在 /var/www/html/ 或 public_html/：
scp llms.txt user@your-server:/var/www/html/
macOS/Linux 本地开发环境： 如果使用 MAMP、Laravel Valet 等工具，放在项目根目录或服务器的 DocumentRoot 下即可。
Windows 服务器（IIS）：
放在站点的物理根目录，通常为 C:\inetpub\wwwroot\你的站点\。
验证文件是否可访问：
curl -I https://yoursite.com/llms.txt
应返回 200 OK 状态码。
第四步：监控 AI 爬虫活动
检查服务器访问日志，确认以下爬虫的访问记录：
- GPTBot
- ClaudeBot
- Google-Extended
- PerplexityBot
- CCBot
Nginx 日志查看：
sudo tail -f /var/log/nginx/access.log | grep -E "GPTBot|ClaudeBot|Google-Extended"
Apache 日志查看：
sudo tail -f /var/log/apache2/access.log | grep -E "GPTBot|ClaudeBot|Google-Extended"
macOS 本地环境：
tail -f /var/log/apache2/access_log | grep -E "GPTBot|ClaudeBot"
如果发现某些爬虫不遵守你的规则，可能需要考虑在服务器层面做额外处理（如通过 .htaccess 或 Nginx 配置屏蔽）。
潜在的局限与不足
虽然 LLMs.txt 提供了新的控制维度，但它有几个明显的局限：
- 非强制性：如同早期 robots.txt 需要爬虫配合一样，LLMs.txt 的遵守依赖于各 AI 公司的自觉。目前没有任何法律强制要求必须遵守。
- 覆盖范围有限：并非所有 AI 爬虫都支持 LLMs.txt，尤其是一些小众模型的数据收集方式可能更隐蔽。
- 数据已被使用：你的内容可能已经在 LLMs.txt 出现之前被用于训练，这个文件只能影响未来的行为。
- 安全和隐私并非万能：对敏感信息或专有数据，仅靠 LLMs.txt 是不够的。真正的保护需要结合服务器级别的访问控制。
常见问题
LLMs.txt 会影响 SEO 排名吗？ 目前不会直接影响搜索引擎排名。它影响的是内容在 AI 生成回答中的参与方式，而非传统的搜索排名。
ChatGPT 会读取 LLMs.txt 吗？ 是的，OpenAI 的 GPTBot 会检查并尽可能遵循 LLMs.txt 中指定的规则。
我需要同时保留 robots.txt 和 LLMs.txt 吗？ 是的。两者用途不同：robots.txt 管理搜索引擎抓取，LLMs.txt 管理 AI 训练数据的使用，互相不能替代。
如果 LLMs.txt 未被遵守怎么办？ 你可以：
- 检查文件格式是否正确
- 确认文件放在了正确的根目录位置
- 考虑通过服务器配置（如防火墙规则）直接屏蔽不听话的爬虫 IP
- 关注各 AI 公司的政策更新
一些建议
对于大多数网站来说，我的建议是：
- 先创建文件：即使只是放一个简单的声明，也比没有好。这至少表明了你对内容使用的态度。
- 根据内容性质决定策略：公开博客、教程类内容适合开放访问；专有数据、付费内容则建议限制。
- 保持更新：AI 行业发展很快，协议和爬虫列表都在变化，定期检查和更新这个文件是有必要的。
- 配合其他策略：LLMs.txt 只是工具之一。内容本身的清晰结构和上下文丰富度，同样影响 AI 对你的内容的理解和引用。
LLMs.txt 的出现为网站所有者提供了一个与 AI 生态系统对话的窗口。虽然它还不够完善，但作为建立规则的第一步，值得认真对待。
本文旨在提供技术参考，不构成任何形式的专业建议。具体配置请根据自身情况调整。
