百度不收录：日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /68ad3eb3c89c.html
📄
百度不收录：日志中应该核对哪些字段
要判断百度不收录的原因，日志里最该优先核对的是百度蜘蛛的请求记录，具体包括：抓取时间、请求URL、HTTP状态码、User-Agent、响应大小、返回字节数、来源IP，以及服务端处理耗时。其中状态码和响应大小是最快能定位问题的两项：状态码决定百度是否成功拿到页面，响应大小决定拿到的内容是否完整。日志里如果根本没有百度蜘蛛的记录，问题在抓取入口；如果有记录但状态码异常或内容为空，问题在服务端响应。
先确认日志里有没有百度蜘蛛
第一步不是看字段值，而是确认百度蜘蛛是否来过。在访问日志中筛选User-Agent包含Baiduspider的记录，同时核对来源IP是否属于百度公布的蜘蛛IP段。只凭User-Agent不够，因为UA可以被伪造，IP和UA对得上才说明是真实抓取。
- 如果完全没有记录：优先检查robots.txt是否封禁、服务器防火墙是否拦截、DNS解析是否正常、网站是否对百度IP返回了错误页。
- 如果有记录但数量极少：检查内链结构、站点地图提交情况、页面是否长期无更新。
- 如果有大量记录但状态码异常：进入下一步，按状态码分类处理。
状态码字段怎么读
状态码是日志里信息量最大的字段，它直接说明百度每次抓取的结果。常见取值和处理方向如下：
200：抓取成功。此时要接着看响应大小，如果200但字节数很小，可能是返回了空模板或验证页，百度拿不到正文。301/302：发生了跳转。核对跳转目标是否可达、是否形成跳转链或循环。跳转链过长会消耗抓取配额。403/401：被拒绝访问。检查防火墙、CDN、访问频率限制是否误伤了百度IP。404：页面不存在。确认是URL本身失效，还是伪静态规则、路由配置写错导致正常页面返回404。429/503：限流或服务不可用。检查是否有请求频率限制、后端是否过载。5xx：服务端错误。需要结合服务端错误日志定位是程序异常还是数据库、缓存故障。
判断原则：如果同一URL反复出现非200状态码，百度会降低抓取频率，收录自然停滞。此时应先修复状态码，再谈内容优化。
响应大小、耗时和抓取频次
状态码为200并不代表抓取有效。日志中的响应字节数能反映百度实际拿到了多少内容：
- 字节数长期为0或极小：可能是返回了空白页、JS渲染未完成、被WAF拦截后返回了提示页。
- 字节数远小于页面实际体积：检查是否被压缩传输、是否只返回了部分内容。
- 处理耗时字段偏高：服务端响应慢会拖低抓取效率，百度可能减少抓取量。可以对比正常时段的耗时基线，判断是偶发还是持续。
抓取频次也要看趋势。把日志按天统计百度蜘蛛的请求总数和独立URL数：请求数下降通常意味着抓取配额被压缩，独立URL数长期不增长则说明新页面没有被发现。这两项要分开看，请求数高但集中在少数URL，说明抓取预算浪费在低价值页面上。
一套可以直接执行的核对顺序
时间和人手有限时，按下面的顺序处理，能在最短时间内排除最大面积的问题：
- 筛选百度蜘蛛记录，确认是否存在。没有记录，先查robots.txt和防火墙。
- 按状态码分组统计，找出占比最高的异常码，优先修复量最大的那一类。
- 对状态码为200但字节数异常的URL抽样，用浏览器直接访问，对比返回内容是否一致。
- 检查跳转链，确认没有超过两跳的301/302。
- 查看抓取耗时和每日请求量趋势，判断是否需要优化服务端性能或调整抓取配额分配。
验收标准可以这样定：修复后观察日志中目标URL的状态码是否稳定为200、响应字节数是否与页面实际体积接近、百度蜘蛛对该目录的抓取频次是否回升。注意，robots.txt解除限制不等于页面会被立即重新抓取，站点地图提交也不保证收录，这些只能作为辅助手段。
容易误判的几种情况
日志里出现百度蜘蛛，不代表页面一定会被收录。抓取和索引是两件事，日志只能证明百度来过，不能证明百度已收录。反过来，日志里没有记录也不一定是被封禁，可能是该页面从未被外链或内链指向，百度根本不知道它的存在。
另外，HTTPS并不等于安全无漏洞，也不直接带来排名提升；它只是抓取和索引的基础条件之一。如果日志显示百度蜘蛛能正常抓取HTTPS页面，就不必把不收录归因到协议上。
下一步建议：从日志中导出最近30天百度蜘蛛的状态码分布，先修占比最高的异常状态码，修复后持续观察同一批URL的抓取记录变化。
