📍 WDQWDWQD987AAAAA:216.73.216.105
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a083420d98ae.html
📄

百度收录提升：日志中应该核对哪些字段？

要判断百度收录提升的瓶颈，日志里最先核对的是百度蜘蛛的抓取记录，而不是只看“收录量”这个结果。重点看四个字段：请求时间、User-Agent、请求URL、HTTP状态码。时间和User-Agent决定这条记录是否属于百度；URL决定它抓的是不是你想收录的页面；状态码决定抓取是否成功。人手有限时，按这个顺序查，能最快排除“没来抓”“抓错页”“抓了但被拒”三类问题。

第一步：先确认哪些记录属于百度

打开服务器访问日志或CDN日志，先筛选User-Agent字段。百度蜘蛛的UA通常包含 Baiduspider，移动端可能带 Mobile 标识。不要只凭IP反查就下结论，UA可以伪造，IP归属也可能变化，两者交叉看更稳。

• 查什么：User-Agent 中是否出现 Baiduspider，以及是桌面还是移动标识。
• 怎么查：用日志工具的筛选功能，或命令行 grep -i "baiduspider" access.log。
• 结果说明什么：如果一条都没有，说明百度蜘蛛近期没来，问题在抓取入口，不在页面内容；如果有但很少，说明抓取预算被其他URL占用或入口太浅。

第二步：核对请求URL是不是目标页面

确认是百度蜘蛛后，看它抓的是哪些URL。这一步直接决定“百度收录提升”是否卡在抓取对象上。

• 查什么：请求URL是否是你希望收录的正文页，是否混入了带参数、分页、筛选、重复域名或已废弃的旧地址。
• 怎么查：按URL分组统计抓取次数，把高频URL和站点地图、内链入口逐一对照。
• 结果说明什么：如果蜘蛛大量抓取无收录价值的参数页，正文页抓取就少；如果抓的全是旧URL，说明重定向或入口更新没做到位。

第三步：看HTTP状态码与响应大小

状态码是判断抓取成败最直接的字段。常见对应关系如下：

• 200：抓取成功。若长期只有200却不收录，要转向内容质量和重复度排查。
• 301/302：发生了跳转。301是永久跳转，可传递信号；302是临时跳转，不宜长期用于页面迁移。
• 404/410：页面不存在。410更明确表示已删除。大量404会浪费抓取。
• 403/503：被拒绝或服务不可用。403可能是防火墙或权限拦截，503通常是服务器过载或维护。

同时看响应字节数。状态码200但返回内容极小，可能是空模板、验证页或错误页伪装成200，这类页面很难被正常收录。

第四步：检查robots.txt与抓取频次字段

日志里如果出现对 /robots.txt 的请求，说明蜘蛛在读取规则。核对这个文件的Disallow是否误封了正文目录。要记住：robots.txt 的抓取限制不等于可靠的索引移除，它只阻止抓取，不保证已收录页面会立刻消失。

再看同一URL的抓取间隔。如果百度蜘蛛对同一页面反复高频抓取却始终不收录，可能是页面更新信号混乱或内容质量未达标；如果间隔很长甚至不再出现，说明抓取优先级低，需要从内链和站点地图补入口。站点地图不保证收录，它只是提交线索。

时间有限时的处理顺序

1. 筛出所有 Baiduspider 记录，确认蜘蛛是否到访。
2. 按URL分组，找出被抓最多的页面类型。
3. 统计状态码分布，先修4xx和5xx。
4. 核对robots.txt是否误封，再检查站点地图中的URL是否可正常访问。
5. 对长期200但不收录的页面，单独检查标题、正文独特性和内链深度。

下一步：从日志中导出最近7天的百度蜘蛛记录，按状态码和URL各做一次分组统计。先处理状态码异常的URL，再处理被抓取但未收录的正文页。