三个数字对不上，这件事困扰了我快两年
去年冬天一个做本地装修站的朋友半夜发消息，说他 site 查出来 47 条，资源平台索引量显示 1200，他实际发了 900 多篇内容，问我到底哪个数是真的。我当时也没法回答，因为我自己那个做机械配件的小站，三个数字同样对不上——site 显示 1100 左右，索引量 2800，实际有内容的页面 3600 上下。
后来折腾了很久才想明白，这三个数字量的压根不是同一个东西，拿它们互相验证这个动作本身就是错的。site 语法是百度给的一个粗略估算，资源平台的帮助文档里写得很含蓄，「仅供参考」，我在不同网络环境、不同时间段查同一个站，结果能差 30% 以上。索引量在「数据统计 - 索引量」里看，分 PC 和移动两栏，这个比 site 靠谱得多，但它统计的是「建立了索引」，不等于有排名。抓取频次又是另一回事，那只代表蜘蛛来过多少次。抓取不等于索引，索引不等于展现，展现不等于点击，这条链子上每一环都掉一大截。
我那个站的实际情况：抓取频次日均 1400 次左右，索引量 2800，site 查询 1100，每天从百度来的真实 IP 六十多个。漏斗算下来是千分之几的水平。所以现在谁再问我「为什么收录少」，我第一句话都是先问他是从哪个入口看的数，很多人被自己的参考系搞崩溃了。
主动推送的配额，比你想的值钱也比你想的少
资源平台里那个「普通收录」页面，2019 年前后改版之前叫「链接提交」，老 SEO 应该还有印象。里面三个通道：主动推送、sitemap、手动提交。手动提交一天就几条，基本可以忽略；sitemap 是排队；主动推送是插队，但插队要消耗配额。
配额这东西差别很大。我见过刚上线的新站只有 10 条/天，做了两三个月、抓取稳定的能涨到几百条，我那个老站现在能看到 3000 多条/天。具体数字在页面上直接写着，不用猜。接口是 http://data.zz.baidu.com/urls?site=你的域名&token=你的token，POST 提交，每行一个 url，单次别超过 2000 条，也别超过当天配额。
token 换域名就失效，换域名必须重新绑定，这个坑我踩过一次，白推了三天。返回结果里 not_valid 一般是 url 不在你站点域名下，或者带参数被判重复；success 只代表百度收到了，不代表收录，别把这两个搞混。sitemap 我实测新页面从提交到被抓普遍要 3 到 14 天，主动推送快的当天就来，慢的两三天。所以我的做法是新发的重要页面立刻推，历史页面全靠 sitemap 加内链慢慢带。
另外资源平台里还有个「快速收录」模块，不是所有站都有，需要权益，配额通常很少，一般就十来条一天，主要针对移动端。有这个权限的话优先给真正要流量的落地页，别拿去推列表页，浪费。
大部分「不收录」，其实是蜘蛛根本没进来
服务器日志里 grep 一下 Baiduspider，重点看三件事：来没来、爬的什么路径、返回的状态码是什么。真蜘蛛的 IP 段是公开的，220.181.108.、123.125.71.、116.179.32.* 这些开头的基本可以确认，日志里那些伪造 UA 的假蜘蛛骗不了 IP。
我遇到过最蠢的一次事故，是 robots.txt 里写了 Disallow: /*? ，本意是拦搜索参数页，结果把站内所有带参数的详情页全拦了，80% 的内容蜘蛛压根看不见。改完第二天抓取量翻了四倍。类似的事我在同行那边见过不止一次，还有人在测试环境写了个 Disallow: / ，上线忘了删，半个月白干。资源平台里有 robots 检测工具，改完一定要用那个验一遍，别信自己的眼睛。
技术这块还有个坑是渲染。百度对 JS 渲染的支持比 Google 差不少，虽然 2020 年之后有 Baiduspider-render 这个渲染抓取，但队列长、频次低。用「抓取诊断」跑一下页面，看到一堆空 div 就知道完蛋了。之前百度的 MIP 改造，2020 年底停止维护，不少站白折腾一场，现在我的原则很简单：核心内容一律服务端渲染，别赌。状态码那栏如果出现链式 301、DNS 错误、连接超时，都得逐个查，响应超过 3 秒的页面蜘蛛基本就走了。
内容层面：算法打的方向其实很实在
百度这几年发过几个算法，名字起得挺中二，但打击方向是清楚的。飓风算法 2018 年开始，后来有 2.0、3.0，打采集拼接，判断逻辑不只是相似度，还看内容结构是不是机器拼的。清风算法打标题党，标题和首段对不上就掉。惊雷算法打快排刷点击，2021 年初惊雷 3.0 之后刷点击成本高了很多，但没绝迹。细雨算法主要打 B2B 站的低质内容，做行业站的感受会比较明显。
我的观点比较直接：收录问题里九成不在技术，在「这个站值不值得被抓」。一个 20 篇真内容的垂直站，收录速度比 5000 篇采集的站快得多，这是我反复验证的事。百度给一个站的抓取频次，本质上是「信任额度」，内容质量差、跳出率高、页面三个月不更新，额度就往下掉。你现在看到的抓取频次，是过去几个月积累的结果，不是今天改个设置就能变的。
我每周一做的检查清单
按顺序过一遍，大部分问题能定位到：robots 有没有拦（用官方检测工具，别用第三方）；sitemap 里 url 是不是全都是 200；主动推送配额用了多少，别浪费；抓取诊断分别跑首页、栏目页、详情页各一个，看返回的 HTML 和状态码；日志里 Baiduspider 日均次数是在涨还是在跌；索引量按周维度看趋势，别看单日；内容侧检查是不是同一模板批量生成、首段有没有实质信息。
最后说个反常识的：别天天查 site。我给自己定的规矩是每周一查一次，记到表格里。site 结果本身就有正常波动，我见过一天之内从 1100 跳到 800 又回到 1050 的，这期间我一个字都没改。天天查除了焦虑没别的作用，还容易让人做出一些没必要的乱改。