百度新闻收录为什么越来越慢?我盯了三个月后台,真正的卡点不是提交

🔑 关键词:新闻收录,百度收录,IndexNow,新闻源,快速收录

📖 摘要:做本地资讯站三个月,收录率从12%爬到40%多。这篇不讲虚的,讲清楚新闻收录真正卡在哪里、百度Google Bing三家的机制差别,以及我们自己跑过有效的六个动作。

2023年11月我接手一个本地资讯站,日更四十来篇,站龄快四年。每天早上八点第一件事不是看稿子,是打开百度搜索资源平台的抓取频次图。三个月下来我印象最深的一个数字:12%。这是前一天发布的文章第二天能被搜到的比例,也就是说昨天推了50篇,第二天能搜到的不到6篇。我们试过改sitemap、试过API推送、试过把发布时间往后调一个小时假装“新鲜”,全都没用。后来才慢慢想明白,问题根本不在“推”,在“收”。

图片

大部分关于新闻收录的教程都在教你提交链接,但搜索引擎的抓取预算是有限的。它给每个站点分配的抓取频次,会参考你过去三个月甚至半年的更新节奏。你一天发5篇,它派个小爬虫按时来看看就够了;你一天发50篇,它判断你“可能需要更多资源”,但这个判断生效周期是以周为单位的,不是按天。这中间就产生了一个时间差,很多站死在这个时间差里。我同事管这个叫“新鲜度配额”,我觉得挺准确:搜索引擎在时效性这个池子里,给每个站点预留的位置是有上限的。

图片

对比一下几家平台的做法会更清楚。百度这边是普通收录加快速收录两条线,普通收录的API推送新站一天大概10条配额,老站能到几百条;快速收录要单独开权限,一般只给移动端,配额10条一天,而且不是申请来的,是系统看你站点质量之后主动放的。2020年4月熊掌号下线,那之前“提交就必收”的说法就彻底作废了,现在没人能承诺你提交了就给收录。Google的逻辑不太一样,它的News sitemap只放最近48小时的文章,单个文件最多1000条URL,超过要切分,而且这个sitemap只影响Google News的产品位,跟自然搜索结果两回事。Bing最直接,2023年官方明确说,不支持IndexNow的站点会降低抓取频率,接口是api.indexnow.org,一次最多推10000条URL,但前提是根目录得放一个key验证文件。我实测过几次,Bing反应最快,有时候五分钟内就能搜到新页面,百度一般半小时到两小时,Google看站点权重,快的十几分钟,慢的一两天。

图片

具体怎么做,我按优先级排一下,这些都是我们自己跑过有效果的:

图片

  1. 更新节奏稳定下来,比什么都重要。我们试过连续14天固定在早8点、中午12点、晚6点各发4到5篇,半个月后后台显示平均抓取间隔从4小时缩短到27分钟。反过来,哪天心血来潮推300篇,接下来两三天抓取频次必掉。
  2. sitemap分两个,一个放全站,一个专放当天新闻,后者只保留48小时内的链接。Google那个新闻sitemap的1000条上限别硬顶,切成按日期命名的小文件更稳。
  3. IndexNow能接就接,成本极低。key文件放根目录,然后POST一批URL过去,返回200或者202就算成功。别一次推全站,只推新发布的。
  4. 百度这边优先保住普通收录API的配额,别浪费在旧链接上。快速收录权限如果拿到了,移动端页面优先推。
  5. 标题和首段别玩悬念。搜索引擎判断一条内容是不是“新闻”,很大程度看首段有没有把5W说全——谁、什么时候、在哪、发生了什么。把时间词放在标题里比放在正文里有效得多。
  6. 发出去之后别改标题。改一次标题,搜索引擎会当成一个新页面重新评估,前面攒的那点时效权重基本清零。

图片

有几个流行的说法我得泼点冷水。第一个是“买新闻源”,现在百度早就没有人工新闻源申请入口了,能在百度新闻里出现的站点都是算法筛出来的高时效性站点,你买不到,买到的大多是中间商倒手的信息费。第二个是“多发原创就能提收录”,原创确实影响站点评级,但它是个慢变量,解决不了你今天的时效问题。第三个是“H标签和结构化数据能提升收录速度”,结构化数据影响的是展示样式,比如富摘要,不是抓取调度。很多教程把这些混在一起讲,我一开始也被带偏过。

图片

最后说个我自己的感受。做收录这事有点像等公交车,你越是频繁去刷新那个后台、越是盯着抓取频次图,越觉得它不动。但如果你的更新节奏、内容质量、技术提交这三样都稳定了,它该来的时候自然会来。我们那个站做到第三个月,收录率从12%慢慢爬到40%出头,没有哪一天是突然变好的,全是那种你根本没注意到的某天早上,一看后台,数字变了。

🏷️ 标签: