← 返回行业洞察

行业洞察 / 2026-09-07 / 约 8 分钟

Cloudflare 正在重划 AI 爬虫边界:GEO 的第一步,可能不是写内容,而是先确认 AI 能不能访问你

企业开始重视 GEO 后,除了建设内容和产品信息,还需要确认 AI 搜索与智能体能否正常访问官网。Cloudflare 对 AI 流量的分类和治理变化,提醒企业把可获取性纳入 GEO 基础检查。

光芒猩|行业洞察

企业开始重视 GEO 后,最常见的动作是增加品牌内容、补充产品信息、建设案例、优化官网。但在讨论“AI 怎么理解我”之前,还有一个更基础的问题:AI 到底能不能访问你的信息?

Cloudflare 官方文档显示,2026 年 9 月 15 日起,其 AI Bot 管理规则将启用新的默认策略。对于新接入 Cloudflare 的域名,AI 流量会进一步区分为 Search、Agent 和 Training 三类:搜索类爬虫默认允许;在展示广告的页面上,训练类和智能体类流量则默认阻止。

企业一边希望自己的品牌出现在 AI 搜索里,另一边,会不会因为 robots.txt、CDN、WAF 或安全策略,提前把相关 AI 访问挡在了门外?

一、AI 爬虫不再只是“允许或屏蔽”

Cloudflare 将 AI 自动访问网站区分为 Search、Training 和 Agent 三种不同目的。三个用途对企业商业价值完全不同:企业可能希望 AI 搜索能找到官网,却不愿所有资料被用于模型训练,同时未来又可能希望 AI Agent 能查询产品甚至执行采购任务。

因此企业面对 AI 流量时,越来越不能简单选择“允许 AI”或者“禁止 AI”,而要思考允许 AI 用什么方式使用网站。

二、混合用途爬虫带来新的治理问题

现实中的爬虫并不总是一个用途对应一个机器人。有些可能同时承担传统搜索、AI 搜索和模型训练。Cloudflare 把这类情况称为 mixed-use crawlers。

Cloudflare 推出的 Bot Preference Sync 试图让网站表达更细致的政策:允许 Search,允许或限制 Agent,但不允许 Training,并让 robots.txt 中表达的偏好与网络边缘执行规则尽量一致。

三、为什么这和 GEO 直接相关?

如果企业已经建设了完整产品页、案例和品牌资料,但 AI 仍很少引用,原因未必是“内容不够多”,也可能是相关爬虫根本没有正常访问这些页面。

这就是 GEO 很容易忽略的一层:Retrievability——可获取性。品牌营销团队在做 GEO,服务器、安全和 IT 团队可能在另一边控制着 AI 能否看到这些内容。

四、robots.txt 可能成为品牌可见度问题

企业可能存在几年前为了安全或节省资源设置的历史规则,后来又增加 CDN、WAF 和防火墙。营销团队今年开始做 GEO,却没人重新检查这些配置。

于是会出现一种尴尬情况:企业花钱让 AI“认识自己”,技术系统却在阻止 AI 获取信息。

五、对中国企业和嘉兴企业的启示

对于嘉兴机械设备、汽车零部件、箱包、家居、纺织服装、跨境电商和外贸企业,如果希望回答“ChatGPT 能找到我的产品吗”“海外采购商问 AI 中国供应商时为什么没有出现”,除了内容,还应检查相关搜索系统和 AI 服务能否正常访问页面。

GEO 不应该看到“品牌没有出现”就直接得出“需要多发文章”,必须先区分:没有内容、有内容但未被访问、已经访问但没被正确理解,还是 AI 已经理解但当前问题与品牌能力并不匹配。

六、这也让“看到 → 理解 → 推荐”更加具体

光芒猩是嘉兴十九楼网络科技有限公司旗下的 AI 时代品牌增长平台,拥有自主研发的 AI 品牌增长平台,并采用“产品平台 + 专业服务”模式。

“看到”有一个具体技术前提:品牌信息必须首先能够被相关搜索与 AI 系统获取。在此基础上,才能进一步讨论 AI 是否正确理解企业、是否进入合适的候选和推荐语境。

围绕这一过程,光芒猩通过 AI 品牌检测、多平台监测、问题库管理、认知诊断、竞争分析、光芒指数、持续复测,以及品牌知识资产建设、GEO 内容建设和多渠道传播,持续观察并完善品牌公开信息基础。

七、GEO 下一阶段,营销和技术团队需要坐到一起

SEO 过去已经经历过从关键词到抓取、索引、网站速度、结构化数据和服务器性能的演进,GEO 很可能也会经历类似过程。

不要在还没有确认 AI 能不能打开门之前,就不断往房间里搬更多内容。

光芒猩|以GEO服务为核心的AI品牌增长平台

让 AI 看到你,理解你,推荐你!

信息来源

• Cloudflare Developers,《Block AI Bots》,文档最近更新于 2026 年 8 月 26 日。 查看来源

• Cloudflare,《Your site, your rules: new AI traffic options for all customers》,2026 年 7 月 1 日。 查看来源

• Cloudflare,《Say it once: Introducing Bot Preference Sync》,2026 年 8 月 21 日。 查看来源

• Search Engine Journal,《The Technical Signals AI Search Uses That Most SEOs Still Aren’t Optimizing》,2026 年 9 月 1 日。 查看来源