官方 2026-09-14 更新过的 robots.txt,用 221 行写清楚了 39 个爬虫的待遇;而它在 2026-09-07 一次把自己整个文档站从搜索引擎的递归读取里摘了出去,又悄悄挂了回来。我们把这些注释逐条核对了一遍,发现三处官方自己写下的记录,与今天线上的实际状态已经对不上了。
在写这篇文章之前,先说清楚一件事:本文不是又一篇「WorkBuddy 更新了什么」。2026-10-14 当天的版本监控显示,WorkBuddy 在 7 天窗口内新增版本数为 0(Changelog 顶部仍是 5.7.7 / 5.7.6)。所以本文改从另一个入口进:一个 AI 办公产品如何对待抓取它自己的机器——搜索爬虫、AI 训练爬虫、AI 检索爬虫、SEO 工具爬虫。这四类机器待遇完全不同,而差异恰好暴露了产品真实的优先级排序。
本文所有数字都是 2026-10-14 18:0x(Asia/Shanghai)实测取得,每个结论都标注了可复现的验证方法。
一、先看这份 robots.txt 的整体形状
https://www.workbuddy.ai/robots.txt 当前返回 221 行,首行注明:
# robots.txt for https://www.workbuddy.ai/
# Last updated: 2026-09-14
# Maintainer: WorkBuddy SEO Team
# Spec: https://www.rfc-editor.org/rfc/rfc9309 (Robots Exclusion Protocol)
注意 Last updated: 2026-09-14——这是一个月前的版本,而过去 30 天里 WorkBuddy 的版本号一直在推进(5.7.5 → 5.7.6 → 5.7.7)。爬虫策略与产品版本之间存在时间差,这本身不算错误,但它是后文几处不一致的起点。
把 221 行按用途拆开,结构相当清晰:
| 区段 | 作用 | 行数量级 |
|---|---|---|
通用规则 User-agent: * |
允许全站,屏蔽登录/账户/工作台/内部接口等私域路径 | 13 条 Disallow |
| Googlebot / Bingbot | 放开节流,并额外屏蔽 5 个海外站特有路径 | 各 10 条 Disallow |
| 国内搜索引擎(Baiduspider / Sogou / 360 / Yisou) | 只屏蔽登录、注册、工作台、API | 各 3~4 条 |
| AI / LLM 抓取代理 | 26 个 UA,全部 Allow: /,零 Disallow |
26 条 Allow |
| SEO 工具爬虫 | 5 个 UA,全部 Disallow: / |
5 条 Disallow |
| Sitemaps / Host | 声明 2 条 sitemap | 2 行 |
这份文件里最值得注意的是两件事:
第一,AI 爬虫段是一个「全放行」的整齐块。 我用脚本逐段解析确认:AI 段的 User-agent 行数 = 26,对应的 Allow 行数 = 26,且 26 条 Allow 的值全部是 /,该段内没有任何一条 Disallow。官方自己在注释里写明了这个意图:
# AI / LLM 抓取代理:允许收录公开内容,提升 GEO(Generative Engine Optimization)可见性
# 注:如希望禁止某家,将对应 User-agent 块下改为 "Disallow: /"
26 个 UA 覆盖了 GPTBot、OAI-SearchBot、ChatGPT-User、Google-Extended、ClaudeBot、Claude-Web、anthropic-ai、PerplexityBot、Perplexity-User、cohere-ai、Applebot、Applebot-Extended、Bytespider、Amazonbot、Meta-ExternalAgent、DuckAssistBot、YouBot、Diffbot、DoubaoBot、YuanbaoBot、DeepSeekBot、Kimibot、MoonshotBot、TongyiBot、AliyunBot、GoogleOther——即训练、检索、实时浏览三种语义全部放行。
第二,SEO 工具爬虫被整块拉黑。
# ─────────────────────────────────────────────────────────────
# 不希望抓取的低质量/SEO 工具型爬虫
# ─────────────────────────────────────────────────────────────
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: PetalBot
Disallow: /

把这两块并排看,一个 26 家 AI 爬虫全放行、5 家 SEO 爬虫全封禁的组合,指向的不是「SEO 做得好」,而是官方明确选择了 GEO(生成式引擎优化)这条路。它要的不是在传统搜索结果里排名,而是被各家大模型读进上下文。这个判断写在官方自己的注释里,不是本文的推测。
二、官方亲手记录的一次事故:整个文档站一度从搜索引擎里消失
如果只看 robots.txt 的 Allow / Disallow 指令,会漏掉这份文件里最有价值的信息——它是一份带注释的变更日志。https://www.workbuddy.ai/sitemap.xml 的文件头部保留了这样一段:
<!--
Sitemap index for https://www.workbuddy.ai/
Last generated: 2026-09-07
...
为什么这里不列 /docs/sitemap.xml:
sitemap index 内不允许再嵌套 sitemap index(sitemaps.org 协议 + Google 均不支持),
而 /docs/sitemap.xml 本身就是 VitePress 生成的 sitemapindex(下挂
sitemap-workbuddy-<板块>.xml 若干个 urlset)。此前把它列在这里,导致 docs
整块不会被递归读取 —— 2026-09-07 GSC 实测该属性已提交站点地图数为 0、
docs 分组无索引率数据即由此而来。
改为在 robots.txt 中单独声明一条 Sitemap:,robots 的每条 Sitemap 都是独立的
顶层提交,指向 index 是合法的。
...
-->

这段注释的信息量很大,它完整交代了一次已确认的收录事故:
- 时间:2026-09-07,Google Search Console 实测
- 症状:该属性的「已提交站点地图数」为 0,docs 分组没有任何索引率数据
- 根因:
/docs/sitemap.xml是一个 sitemap index,官方把它错误地嵌套进了顶层 sitemap index 内部。sitemap.org 协议和 Google 都不支持 index 套 index,于是整块 docs 递归读取失败 - 修法:从顶层 index 里拿掉,改为在 robots.txt 里单独声明
Sitemap:顶层提交
修完之后,robots.txt 末尾多了这两行:
# Sitemaps(必须用绝对 URL)
Sitemap: https://www.workbuddy.ai/sitemap.xml
# 文档站单独声明:/docs/sitemap.xml 本身是 sitemapindex,不能嵌进上面那份索引里,
# 但 robots 的每条 Sitemap 都是独立顶层提交,可以直接指向 index。
Sitemap: https://www.workbuddy.ai/docs/sitemap.xml
值得注意的是,这段事故记录目前只存在于 XML 注释里。搜索引擎读得到 ,读注释的人不多;但对想理解「这个文档站在搜索引擎里为什么长这样」的人来说,这几行注释比整份 Allow 列表都更有用。这是典型的「给未来的维护者写、但维护者之外的读者看不到」的信息。
三、修完之后,文档站现在到底有多少页面?
我按官方声明的两条 sitemap 逐层拉取并解析,实测数字如下(叶子 urlset 中的 计数):
| 站点 | 板块 | sitemap 文件 | 页面数 |
|---|---|---|---|
.ai |
/docs/ |
sitemap-workbuddy-root.xml |
1 |
.ai |
/docs/zh/ |
sitemap-workbuddy-zh-root.xml |
1 |
.ai |
/docs/workbuddy/(英文) |
sitemap-workbuddy-workbuddy.xml |
55 |
.ai |
/docs/zh/workbuddy/(中文) |
sitemap-workbuddy-zh-workbuddy.xml |
53 |
.cn |
/docs/ |
sitemap-workbuddy-root.xml |
1 |
.cn |
/docs/workbuddy/ |
sitemap-workbuddy-workbuddy.xml |
117 |
.cn |
/docs/enterprise/ |
sitemap-workbuddy-enterprise.xml |
27 |
.cn |
/docs/workbuddyapp/ |
sitemap-workbuddy-workbuddyapp.xml |
15 |
.cn |
/docs/workbuddymini/ |
sitemap-workbuddy-workbuddymini.xml |
18 |
| 合计 | 288 |
拆开看结构:
.cn国内站 178 页,比.ai海外站 110 页多 68 页(+61.8%).cn的板块更全:多出enterprise(27)、workbuddyapp(15)、workbuddymini(18)三个板块,.ai站完全没有- 中英文对照上,
.ai的/docs/zh/workbuddy/有 53 页,其中 28 页在From-Beginner-to-Expert-Guide、9 页在Platform-Integration
最刺眼的一层结构差异在版本日志上。 .cn 的 /docs/workbuddy/ 117 页里,24 页是 Changelog 相关(占比 20.5%),包括 23 个带完整版本号的归档页(Changelog-5.3.14 … Changelog-5.7.7)加 1 个索引页。而 .ai 的 /docs/zh/workbuddy/ 53 页里,Changelog 只有 1 页。
也就是说:官方把「可被搜索到的版本史料」几乎全部留在了国内站。 这与本站在 10-12 记录过的一个观察一致(海外版对 5.7.6 是选择性同步),但这次是从站点结构层面看到的另一面——不是「同步没做」,是「同步做了但历史档案根本就没往海外站铺」。
四、三处官方注释与今天的线上状态已经对不上
robots.txt 里有一段专门针对海外站的屏蔽规则,注释写得非常具体:
# 海外站专属屏蔽(2026-09-10 实测)。Disallow 为前缀匹配,故不再重复列出带斜杠形式。
Disallow: /lexiang # 腾讯乐享集成页,国内产品,线上为 936 字中文正文
Disallow: /promotion # 国内活动页(新年活动)
Disallow: /privacy # 海外部署下为空壳:200 但 title 为空、0 字正文,且站内无任何链接指向
Disallow: /agreement # 同上(英文版协议在 /document/ 下,不受影响)
# /blog 不屏蔽:nginx 已配置 /blog/* 路由,若后续在此上线博客,屏蔽会让整个博客无法被收录
Disallow: /document/*.html$ # 与无扩展名版本重复且为旧 CodeBuddy 品牌版;页脚链接用的是无扩展名形式
我按这段注释逐条实测了 2026-10-14 的线上状态,结果是三条对得上、两条已经变了、一条需要修正。
4.1 /lexiang 的「936 字中文正文」—— 数字仍然准确
https://www.workbuddy.ai/lexiang 返回 HTTP 200,去标签后的可见正文长度实测 936 字符,与注释完全一致。页面确实是 WorkBuddy × 腾讯乐享的集成页。

这一条屏蔽是合理的:它是国内产品的集成页,用中文文案,海外站收录它没有价值。官方按「国内产品」屏蔽,逻辑成立。
4.2 /privacy 与 /agreement 的「空壳」说法 —— 成立,但描述需要修正
官方注释说这两个路径「海外部署下为空壳:200 但 title 为空、0 字正文」。
实测 https://www.workbuddy.ai/privacy:HTTP 200, 为空,源码里除
但「空壳」这三个字容易让人误解。我用 Chrome headless(真实浏览器内核,带 JS 执行)实际渲染这个 URL,屏幕上出现的是一整个 CodeBuddy 产品官网首页:导航栏有 IDE / Agents / CLI / 价格 / 文档 / 博客 / Intl-中文 / 登录 / 下载,Hero 区是「Code Where You Build 全景装备开发全流程」,下面有「代码如何开始使用?」、场景一/场景二切换和演示视频。
也就是说:爬虫拿到的是空壳,浏览器看到的是首页。 同一个 URL,对搜索引擎和对人呈现两种完全不同的内容。这不是 robots 能解决的问题(robots 只影响爬虫,不影响浏览器渲染),但它意味着官方注释里「空壳」二字的实际后果比字面更复杂,值得单独指出。

4.3 /document/*.html$ 的规则 —— 今日实测与注释不一致
注释说这条是「与无扩展名版本重复且为旧 CodeBuddy 品牌版;页脚链接用的是无扩展名形式」。
我按注释实际检查了 6 个路径,记录 HTTP 状态、解压后字节数和 SHA-256 前 16 位:
| 路径 | HTTP | 文件字节 | SHA-256[:16] |
|---|---|---|---|
/privacy |
200 | 9124 | 59004305166c81cd |
/agreement |
200 | 9124 | 59004305166c81cd |
/document/privacy |
200 | 9124 | 59004305166c81cd |
/document/privacy.html |
200 | 9124 | 59004305166c81cd |
/document/agreement |
200 | 9124 | 59004305166c81cd |
/document/agreement.html |
200 | 9124 | 59004305166c81cd |
六个路径返回的字节完全一致(同一 SHA-256)。 也就是说,今天在 .ai 站上,/privacy、/agreement、/document/* 全部命中同一个 SPA 空壳页——官方预期的「无扩展名版本有真实协议内容、*.html$ 才重复」这个区分,在线上已经不存在了。
同时,.ai 首页 HTML 里我提取到的全部 href 中没有任何一个指向 /document/(首页的可跳转链接只有 https://www.workbuddy.ai/ 与 CDN 资源地址)。注释里说的「页脚链接用的是无扩展名形式」,在今天的首页源码中没有找到对应链接。
这里必须说清楚边界:robots.txt 的 Disallow: /document/*.html$ 用了 $ 锚点,只能匹配以 .html 结尾的路径,挡不住 /document/privacy 这种无扩展名形式。而后者今天返回的也是空壳。这是官方规则与线上状态之间一个可复核的偏差,但成因是站点部署侧还是规则编写侧,本文无法判定,如实标注为 UNKNOWN。
4.4 国内站的对照:同样的路径,内容完全正常
作为对照,我实测了 .cn 站的同一批路径:
https://www.workbuddy.cn/privacy→ HTTP 301 →/privacy/→ HTTP 200,标题「腾讯云代码助手隐私保护声明」,可见正文 9160 字符,开头是「生效时间:2025 年 9 月 26 日」——真实、完整、可读https://www.workbuddy.cn/document/privacy→ HTTP 200,但标题是「Tencent Cloud Code Assistant CodeBuddy – AI Code Editor」,正文仅 55 字符——这是旧 CodeBuddy 品牌页,与官方注释所说的情况吻合
所以空壳问题只发生在海外部署,国内站的法务页面是正常内容。这也说明:这不是「官方没写隐私政策」,而是海外部署这一层的路由或数据缺失。
五、这份 robots.txt 对普通用户到底有什么用?
可能有人会觉得,看 robots.txt 是 SEO 圈的专用技能。实际不然,它回答了三个很具体的用户问题。
问题一:为什么我在搜索引擎里搜不到 WorkBuddy 某个文档? 先看它在不在官方 sitemap 里。288 个页面是官方自己声明收录意图的全集;如果一个功能文档不在这 288 个 里,那它没进官方索引清单,搜不到是预期内的。反过来,如果它在清单里却搜不到,才值得进一步查收录状态——就像官方 2026-09-07 那次事故一样。
问题二:为什么 WorkBuddy 敢开放给 AI 爬虫? 因为它在 robots.txt 里明确选了这条路线,而且真的一致执行了:26 个 AI UA 全部 Allow: /,没有一条例外。值得注意但需要克制解读的一点是——「允许被抓取」和「实际被大模型引用」是两件事,本文没有任何数据能证明 WorkBuddy 的文档真的出现在某个模型的回答里,本文只陈述官方策略本身。
问题三:两站内容为什么不一样? .cn 178 页 vs .ai 110 页,Changelog 24 页 vs 1 页。查文档时以国内站为准更保险,尤其是版本历史。
六、这些结论的可信度边界
必须明确本文没有做到什么:
- UNKNOWN:无法访问 GSC、百度搜索资源平台或任何站长后台,因此无法确认 2026-09-07 那次事故后的实际收录数据。官方注释里的「已提交站点地图数为 0、docs 分组无索引率」是官方自述,本文只做了旁证(该注释确实存在于 2026-10-14 的线上文件中),未独立验证其数据本身。
- UNKNOWN:6 个
.ai法务路径返回同一 SPA 空壳的成因未知。可能是海外部署的路由回退规则、数据同步缺失,或两者叠加。本文只报告观测结果,不推断责任方。 - UNKNOWN:两站 sitemap 的
lastmod均标注为 2026-10-14,但sitemap.xml头部注释写Last generated: 2026-09-07。两者不是同一字段,本文未推断哪个反映真实更新时间。 - 本文未做的事:没有修改 WorkBuddy 的任何配置或页面;没有以 Googlebot 等任何爬虫身份发起请求(所有实测均为普通浏览器 UA);没有评估这次策略对实际搜索排名的影响(无排名数据支撑,不估算)。
- 口径说明:本文所有字节数、SHA-256、页面计数均基于 2026-10-14 18:0x 的一次抓取。站点随时可能变化,读者复核时数值可能已不同。SHA-256 比对用的同一 UA 连续请求,用于排除并发或 CDN 抖动带来的偶发差异。
七、给三类读者的具体建议
如果你在做 AI 工具选型:WorkBuddy 公开允许 26 家 AI 爬虫抓取公开文档,这本身是个可验证的开放度信号。查文档时优先用 .cn 站,版本史料在那里更完整。
如果你是开发者:.ai 站的 108 页正文里,From-Beginner-to-Expert-Guide 一个板块就占 57 页(英文侧 29 页 + 中文侧 28 页),加上 Platform-Integration 的 9 页,共 66 页是入门到进阶的教学内容——这是海外站内容的绝对主体。而 .cn 站有 178 页,却没有 Platform-Integration 这个层级(9 页全在海外站),接入类文档要查海外站,教程类文档国内站更全。
如果你在维护自己的站点:官方那次事故值得当成模板。根因不是「忘了提交 sitemap」,而是「提交了,但嵌套方式让搜索引擎读不到」。robots.txt 的注释能救未来的自己,但救不了当下的收录——真正起作用的是那份文件本身有没有被正确读取。
八、来源与可核验链接
本文全部数据来自 2026-10-14 18:0x(Asia/Shanghai)的一手实测,逐项列明:
官方配置与声明文件
- workbuddy.ai/robots.txt —— 221 行,Last updated 2026-09-14,39 个 User-Agent 块
- workbuddy.cn/robots.txt —— 200 行,Last updated 2026-06-03
- workbuddy.ai/sitemap.xml —— 含 2026-09-07 GSC 事故注释,Last generated 2026-09-07
- workbuddy.cn/sitemap.xml —— 同一段注释,国内站版本
sitemap 叶子 urlset(9 个,288 条 loc)
- .ai root —— 1 条
- .ai 英文 workbuddy —— 55 条
- .ai 中文根 —— 1 条
- .ai 中文 workbuddy —— 53 条
- .cn root —— 1 条
- .cn workbuddy —— 117 条
- .cn enterprise —— 27 条
- .cn workbuddyapp —— 15 条
- .cn workbuddymini —— 18 条
实测页面
- workbuddy.ai/lexiang —— HTTP 200,可见正文 936 字符
- workbuddy.ai/privacy —— HTTP 200,HTML 可见文本 0 字符,title 为空
- workbuddy.ai/document/agreement —— HTTP 200,与上者同 SHA-256
- workbuddy.cn/privacy —— HTTP 301 到
/privacy/,正文 9160 字符 - workbuddy.cn/document/privacy —— HTTP 200,CodeBuddy 旧品牌页
本文与本站既有 WorkBuddy 文章的分工(避免重复)
- 本站 10-14 09:00 的文章写的是接入指南权限账本(8 篇指南 85 项飞书权限、双站文档树分叉)——那是读文档的「权限」面;
- 本文写的是站点对爬虫的机器可读性面(robots/sitemap 策略、双站页面库存、被屏蔽路径的线上实况),与该文不重叠。
- 本站其余 WorkBuddy 文章覆盖:连接器架构演进、邮箱三件套、changelog 承诺分层、工作空间访问层、三件套半年、白屏回退史、5.7.7 成长计划、移动端实测。本文是其中第一篇从站点配置层切入的文章。
*本文所有行数、页面计数、字节数与哈希均为 2026-10-14 实测值,非估算。官方注释中的 GSC 收录数据属官方自述,本文未能独立验证,已在第六节如实标注。*
相关推荐
WorkBuddy 官网 sitemap 注释里挂着 9 个候选页面:7 个打开是 404,/blog 和 /privacy 是 CodeBuddy 的同一份页面
WorkBuddy 资料库合规实测:31 页文档里 23 页挂着「声明」法律效力条款,4 档存储配额与 workbuddy.link 发布页的 3 个真实盲点
WorkBuddy 企业管理端实测:官方 sitemap 里 27 个企业文档 URL 全部渲染同一页,真实入口是 17 位数字 ID
WorkBuddy 的 14 款内置模型实测:一张表里藏了 3 个术语不一致、4 款不支持图片,而海外站干脆不列模型名
WorkBuddy 的安装包台账:92 个版本、276 个安装包实测 98.27 GB,而 5.7.5 一天砍掉 199 MB、下载页日期有 34 个版本和更新日志对不上
WorkBuddy 一周三连发:5.8.0→5.8.2 的 41 条改动里,修复占了一半,而官方更新日志迟到了 7 天
WorkBuddy 双站文档实测:288 条官方 URL 全部 GET 200 / HEAD 404,19/24 条跨站路径渲染成 "PAGE NOT FOUND"
WorkBuddy 计费体系拆解:一颗积分有四种价格,Pro 加量包比订阅贵 6 倍,而 Team 年付零折扣








