本文属于 代理检测完全指南 系列，聚焦爬虫场景下的代理验收与监控。
很多爬虫项目在接入代理后直接开爬，结果三天内 403 率飙升、IP 被整段封禁。问题往往不在代码，而在缺少一套可重复的检测流程：不知道池子真实唯一率、没对目标站做 smoke test、也没有失败阈值触发轮换。本文给出从单 IP 基线到上线监控的四阶段工程方案，可直接嵌入 CI 或上线 checklist；爬虫工程实践见 Scrapy 官方实践文档。
为什么爬虫不能「接代理就爬」
爬虫场景有三类典型风险，单靠「能连上代理」无法排除：
目标站反爬与 IP 信誉：电商、招聘、地图类站点维护自有黑名单。第三方报告干净，不代表目标站未标记该 IP 段。必须对真实业务 URL做抽样可达测试。
动态池复用与脏 IP：服务商宣传的「千万 IP」若 unique 率低于 30%，等价于少量 IP 高频轮换。高并发下同一出口反复出现，触发速率限制或 CAPTCHA。详见 代理池健康度评估。
Geo 漂移与 ASN 不匹配：Accept-Language 头部声明 en-US，出口却在非目标国家；或住宅 IP 却挂在 Hosting ASN 下。目标站风控会综合 Geo、语言、TLS 指纹判断，单点配置错误即可连坐整批任务。
若你刚搭建 Python 爬虫环境，可先读 Python 爬虫代理配置指南 完成基础接入；本文解决的是接入之后如何系统化验收。
四阶段检测流程
阶段 1：单 IP 基线 — 从池中取 1 个出口，在 008ip 动态代理检测 跑全量报告。记录 IP 类型、风控评分、代理标记、Geo。任一核心字段进红区则整池暂缓，不要浪费采样配额。报告字段含义见 代理检测报告怎么看。
阶段 2：小批量采样 — 经代理循环请求 IP 回显端点（如 ipify、httpbin），采样 50–100 次。统计 unique IP 数 / N = 唯一率；记录同一 IP 最大连续出现次数。动态池 unique 率 >60% 为优秀，30–60% 需监控，<30% 建议换池或换供应商。
阶段 3：目标站 smoke test — 选 3–5 个真实业务 URL（含列表页、详情页、需登录页各至少 1 个），每 URL 经代理请求 10 次。记录 HTTP 状态分布（含 403、429、503）、平均响应时间、是否出现验证码页。403/429/503 占比 >20% 说明该池对目标站不可用，与报告「全绿」可并存。
阶段 4：阈值设定与自动轮换 — 将阶段 2–3 的指标写入配置：例如「连续 5 次 403 → 换 IP」「连续 429 → 降频/退避而非立即弃 IP」「unique 率 1h 滑动窗口 <40% → 告警」「P95 延迟 >8s → 降并发」。动态池检测方法论可参考 动态代理怎么检测。
工程建议：四阶段产物（报告截图、采样 CSV、smoke test 日志）归档到同一目录，换池或排障时可对比历史基线，避免「感觉变慢了」却无法量化。
合格线参考
表1：爬虫场景代理指标参考阈值
| 指标 | 合格 | 告警 | 动作 |
|---|---|---|---|
| 唯一 IP 率（100 次采样） | >60% | 30–60% | <30% 换池 |
| 目标站 403 率 | <5% | 5–20% | >20% 停爬排查 |
| P50 延迟 | <2s | 2–5s | >5s 降并发 |
| 风控评分（多源最高） | <30 | 30–50 | >50 立即换 IP |
阈值需按目标站严格程度调整：公开政府数据站可放宽 403 率；电商详情页应更严。建议先在预发环境跑 24h，观察失败类型分布（超时 vs 403 vs CAPTCHA），再固化到生产告警规则。
上线后怎么盯、什么时候换池
检测不是一次性动作。建议三类监控：
实时任务级：每个爬虫 worker 记录出口 IP、状态码、耗时；连续失败触发换 IP 或冷却。需要 Session 粘性的任务，换 IP 前须重置 Cookie，参见 Session ID 检测。
小时级池健康：每小时抽检 20 次 unique 率 + 1 次 008ip 全量报告。unique 率连续 3 小时下滑，优先联系供应商而非盲目加机器。
降级策略：主池不可用时切备用池；备用池也不达标则降采集频率、暂停非核心队列，避免整段 IP 被目标站永久标记。电商类爬虫还可对照 跨境电商代理出口检测 做业务 URL 专项验收。
💡 下一步
👉 打开 008ip 动态代理检测，对当前池跑阶段 1 基线报告，再按图 1 完成采样与 smoke test。保存结果作为上线基线，换池时可横向对比。
常见问题 FAQ
Q：403 和 429 自动化处理有什么区别？
403 通常表示 IP 被目标站拒绝，应换 IP；429 是速率限制，应降频/退避而非立即弃 IP。
Q：阶段 2 采样 50 次够吗？
50–100 次才有统计意义。低于 20 次只能看到极少数 IP，无法判断池子轮换深度。
Q：上线后还要持续监控吗？
要。建议任务级记录 + 1h 池级滑动窗口，unique 率或 403 率超阈值触发告警或换池。
