爬虫日志分析 - 测试环境与线上怎样对照
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /922a6b808c1f.html
📄
爬虫日志分析 - 测试环境与线上怎样对照
测试环境与线上做爬虫日志分析对照，核心是让两边记录同一条请求的完整身份：相同路径、相同User-Agent、相同时间基准。测试环境用来做可控复现和假设验证，线上日志用来确认真实抓取行为。两者不能混着看，否则会把测试流量当成线上问题，或把线上异常误判为代码缺陷。
先固定对照字段，再谈差异
对照失败往往不是工具问题，而是字段口径不一致。实施前先列出必须对齐的字段：请求时间（统一时区）、请求方法、完整URL（含查询串）、状态码、响应字节数、User-Agent、Referer、客户端IP。测试环境还要额外记录一条标记，例如在UA后加-test，或单独记录来源环境。这样在合并两份日志时，能用同一套分组键还原一次抓取。
如果测试环境没有真实DNS和CDN，IP字段与线上不可比，此时应把IP排除在对照键之外，改用UA加路径加时间窗口来判断。判断结果是：只有路径、状态码、字节数三项都一致，才能认为两边行为相同；任一项不同，先查配置差异，而不是直接改代码。
实施对照时最关键的一步
最关键的一步是构造可识别的测试请求，并让它在线上日志里可被单独筛出。做法是：在测试环境用与线上相同的User-Agent发起请求，但附加一个固定查询参数或自定义请求头，例如X-Debug-Env: staging。随后在线上日志中按这个标记过滤，确认该请求是否真的到达源站、是否被CDN或WAF拦截。
这一步能直接回答一个常见困惑：测试环境返回200，线上却返回403或404，原因可能出在边缘节点规则、回源路径或robots.txt限制，而不是应用代码。注意robots.txt的抓取限制只约束合规爬虫，不等于索引移除；它也不能解释所有403，需结合WAF日志一起看。
用短清单验证两边是否真的可比
- 时间：两边是否同一时区、同一格式，能否按分钟对齐。
- 路径：是否包含协议、主机名、查询串，是否做过URL解码。
- 状态码：是否记录了重定向链，还是只记最终码。
- 字节数：是否包含压缩后大小，gzip开启与否会直接改变该值。
- UA与标记：测试请求是否带可过滤标记，线上是否保留该标记。
逐项核对后，把不一致项分成两类：环境差异（CDN、WAF、DNS、证书）和代码差异（路由、参数校验、缓存）。环境差异优先在测试环境补齐模拟，代码差异才进入修复流程。
维护对照关系，避免日志漂移
对照不是一次性的。每次上线新规则、更换CDN配置或调整日志格式后，都要重新跑一遍对照请求。建议保留一份固定的对照用例，例如首页、一个带参数的列表页、一个应被禁止抓取的路径，分别记录两边结果。站点地图不保证收录，HTTPS也不保证安全无漏洞或排名，因此这些不能作为对照通过的判断依据。
维护时还要区分不同来源：网页搜索爬虫、平台推荐抓取与付费广告落地页监测的日志口径不同，不能共用同一套对照键。若线上日志来自多个节点，先确认是否已去重，再与测试环境比对。
下一步：挑一个当前出问题的URL，按上面的字段清单分别导出测试环境与线上各一段日志，先对齐时间与路径，再判断差异属于环境还是代码。
