crawlset.com/bot

库存监控 / v1.0

CrawlSetBot-Monitor

定期访问已配置的 VPS 商家商品页,识别有货、可预定和售罄等展示状态,记录库存变化。访问前会检查对应站点的 robots.txt。

基础采集间隔
3 分钟(夜间 10 分钟)
同站请求间隔
≥ 20 秒
规则缓存
最多 24 小时

在访问日志中识别

Mozilla/5.0 (compatible; CrawlSetBot-Monitor/1.0; +https://crawlset.com/bot)

通过 robots.txt 管理访问

将下面的规则加入站点根目录的 robots.txt,即可禁止库存监控器访问整个站点。

User-agent: CrawlSetBot-Monitor
Disallow: /

也可将 / 换成商品页路径,例如 /store/。匹配到禁止规则的页面会跳过,并记录 robots_blocked。

访问频率与重定向

  • 商家按顺序采集,常规间隔为 3 分钟。夜间降频按商家本地时区:当地 02:00(含)至 07:00(不含)改为每 10 分钟采集。定时任务触发和网络耗时可能产生少量延迟。
  • AaITR 使用 America/Los_Angeles(自动处理夏令时),qq.pw 使用 Pacific/Honolulu(恒定 UTC−10)。商家时区缺失或无法解析时,禁用夜间降频,全程每 3 分钟采集。
  • 同一商家两次请求之间至少等待 20 秒,规则读取、失败请求和重定向均受此限制。每次 HTTP 请求硬超时 15 秒。
  • 每个网址最多跟随 5 跳重定向,各跳均检查访问规则。收到 429 后按 Retry-After 退避,最长两小时。

商品展示与可售性验证

监控器通过普通 HTTP 请求读取商家的商品页。当商品展示状态进入有货时,可能使用页面上的实际订购链接或表单尝试加入购物车,以确认可售性。验证请求使用固定 User-Agent,并检查访问规则。

同一商品两次验证至少间隔 10 分钟,滚动一小时最多三次。确认可加购后,库存事件标注“有货(已验证)”;响应明确提示缺货时,业务状态记为售罄,附注“展示有货但实际缺货”,并抑制库存通知。

规则缓存与采集健康

robots.txt 成功读取后缓存 24 小时,返回 404 或 410 时按无规则处理。其他规则读取失败、网络错误、超时或无法识别的商品文案会记为采集失败,并保留上一次业务状态。

库存与采集健康的短状态条展示最近 12 小时,每格 3 分钟;无有效采样的时段显示灰色,夜间不会填充虚构记录。

库存变化与采集健康分别记录。连续三次采集失败产生运维告警,成功采集后产生恢复事件。