news sitemap 提交了还是不收录?拆开 Google News、百度、头条的收录逻辑,我发现 6 个没人讲的差异

🔑 关键词:新闻收录,news sitemap,百度新闻收录,Google News收录,新闻源

📖 摘要:不少站点 news sitemap 配了、结构化数据加了,稿件还是躺在那不收录。这篇从一次真实的 11 天不收录排查说起,拆开 Google News、百度资讯、头条和 Bing News 四套机制的差别,包括 48 小时窗口、时区坑、Indexing API 的灰色用法,以及一个被严重低估的指标:被引用率。

上周三凌晨两点多,我盯着 Search Console 里那行「已发现 - 尚未编入索引」,已经是第 11 天了。站点是个本地突发新闻站,日更 15 到 20 条,news sitemap 配了,NewsArticle 结构化数据也加了,author 和 datePublished 都不缺。按网上那些教程,该做的都做了。

图片

结果是 Google 收录 3 条,百度 0 条,头条号倒是全进了推荐池——但那是头条自己的分发系统,和「收录」根本不是一回事。

这事让我把过去几年攒的经验重新捋了一遍。我的结论可能有点反直觉:新闻收录的技术门槛在 2018 年之后基本归零了,卡住你的从来不是 sitemap 写错了、ping 没发,而是聚合器对你这个「源」的信任判定。

Google News 这边,最容易被忽略的是 48 小时窗口

news sitemap 有条硬规则:只能包含过去 48 小时内发布的文章,单个文件最多 1000 条 URL。超过 1000 条不是截断,是整份文件不被读取。我见过一个编辑把三个月的历史文章全塞进 news sitemap,结果 Google 直接忽略了这个文件,站点新闻抓取频率掉了一半,过了两周才恢复。

更细的坑是 publication_date 的格式。它要求 W3C Datetime 并携带时区,比如 2024-03-12T09:30:00+08:00。如果你写成 2024-03-12 09:30:00,或者漏掉时区标记,Google 会按 UTC 解析,北京时间下午五点发的稿子,在它眼里可能是「未来时间」,于是这篇文章被抓取的优先级被压后,严重时判为无效。

图片

我吃过这个亏。有次用脚本生成 sitemap,datetime 用的是本地时间没带 offset,整整两周的稿件收录延迟都超过 6 小时,排查了半天还以为是抓取预算的问题。

顺带说一句 Indexing API。Google 官方文档写得很清楚,它只支持 JobPosting 和 BroadcastEvent 两类结构化数据,不少 SEO 拿它提交新闻页,短期确实能看到「已请求编入索引」,但这是灰色用法。2023 年下半年开始有站长反馈,滥用 Indexing API 的域名,常规抓取预算被下调了。这个我没法完整验证,但至少值得警惕。

百度是完全另一套逻辑,而且更看「身份」

熊掌号 2020 年下线之后,百度的收录通道基本收回到站长平台的普通收录 API 和快速收录 API。普通收录每天的配额和站点质量挂钩,一个新备案的企业站,可能只有 10 到 20 条每天;快速收录配额更少,开通条件里有一条是站点需要有百度认证的原创保护或优质内容标记。个人站基本拿不到。

图片

关键在于,百度对新闻的判定,本质是「首发时间 + 文本指纹比对」。同一篇通稿,A 站 10:00 发,B 站 10:25 发,内容重合度 90% 以上,那 B 站那篇在百度眼里就是转载。转载页几乎没有机会进资讯搜索结果,哪怕你站点权重更高。

所以做本地新闻的团队会发现一个现象:抢首发比优化页面重要得多。我们后来把发稿流程改了,记者现场先用手机发一条 200 字左右的短讯占位(带明确时间戳和地点),回来再补长稿,百度收录率从不到 15% 涨到 60% 上下。这是三个月、约 1400 条稿件的统计,不算严谨,但趋势很明显。

还有一点很多人搞混:百度的网页收录和新闻收录是两套索引。站长平台提交的是网页索引,能不能进百度搜索的那块「资讯」区域,取决于你的源有没有进百度新闻的媒体库。这个库以人工审核为主,没有公开申请入口。

头条、Bing,和剩下的那部分

头条没有传统意义的「收录」,内容是直接进推荐池的,发出去就有机会被推。真正决定生死的是冷启动那批用户的点击率和完读率。这跟 SEO 是两套完全不同的技能树,很多人混在一起谈,其实是错的。

图片

Bing News 走 PubHub,需要单独申请,流程比 Google 麻烦,但审核通过之后收录稳定性还不错。Bing 对结构化数据的要求相对宽松,NewsArticle 或者 Article 都能接受。

我做了个对比表,数据来自自己三个站和两个朋友的站,样本不大:

维度 Google News 百度资讯 头条 Bing News
接入方式 Publisher Center + news sitemap 站长平台 + 媒体库审核 头条号后台 PubHub 申请
时间窗口 48 小时 无明确窗口,重首发 约 72 小时
单文件上限 1000 条 URL 视配额 不适用 1000 条
结构化数据 NewsArticle 必需 非必需但加分 不涉及 建议添加
典型收录延迟 5 分钟到 2 小时 2 小时到 3 天 实时进池 30 分钟到 6 小时
人工干预程度 低,算法主导

我认为被严重低估的一个指标:被引用率

图片

这是我自己观察到的,没有官方文档支撑,所以打个问号。

我翻了三个新闻站的外链数据和服务器日志,发现一个相关性:一个源的文章被其他新闻站引用的次数——也就是别人在稿子里提到你、链接你——和它的收录速度呈明显正相关。有个站半年内被引用 40 多次,新稿平均 12 分钟进 Google News;另一个站内容量差不多,被引用 3 次,平均收录时间超过 2 小时,还有一部分压根不进。

我的猜测是,Google News 的排序里存在一个类似「源权威度」的分数,外部引用是这个分数的重要输入之一。它衡量的是:你到底是一个「别人会引用的一手信源」,还是一个「只会搬运的聚合页」。

这套逻辑套到百度上也说得通。百度一直强调原创和首发,本质上也是在识别谁是一手。

所以如果你问我新闻收录最该做什么,我的答案可能让做技术 SEO 的人不满意:去拿独家,去做现场,去让别人引用你。技术层面把 news sitemap 写对、时间戳带上时区、别把老文章塞进去,这些是及格线,不是加分项。

图片

最后两个小坑

一个是 robots.txt。有些主题模板默认 Disallow 掉 ?p= 或者 /article/ 这类路径,你在 Search Console 里看到「已被 robots.txt 屏蔽」才发现。查一遍,五分钟的事,但很多人一年都不查。

另一个是 dateModified。不少人以为改了 dateModified 就能让旧文重新被当作新闻抓取,实际上 Google 会保留它第一次抓取该 URL 的时间作为参考,dateModified 只影响「最近更新」的展示,不会重置新闻时效判定。把旧文改个日期重发当新稿用,短期可能有流量,被抓到之后域名整体信任度会掉。

写到这我得承认,这篇里的结论有相当一部分来自我自己的样本观察,样本量不大,可能存在幸存者偏差。如果你手上的数据和我说的是反的,欢迎来反驳——这个领域公开的、可靠的一手信息实在太少了,大多数流传的「技巧」其实是 2017 年之前的东西。

🏷️ 标签: