# 运行原理

输入图片说明

# 运行流程

  1. 从资源调度器中获取一个下载任务
  2. 网页下载器根据下载任务信息从互联网上下载网页内容
  3. 从下载网页内容中提取出所有符合要求的链接
  4. 将提取出的链接放入链接池供调度器调度
  5. 内容解析器解析下载网页内容,根据配置从中提取出数据信息
  6. 信息输出器输出内容解析器解析出来的数据

在正常情况下,风铃虫会一直循环进行上述步骤,一直到任务完全完成。

# 任务完成条件

在一般情况下,只要风铃虫满足以下 任意一种情况就会停止实例的运行,并在停止运行后将状态改变的消息通过爬虫状态监听器 发送出去。

  1. 风铃虫停止接口被调用
  2. 风铃虫开启拦截检测功能后,连续检测到拦截标志出现,且连续出现的次数达到阀域值
  3. 风铃虫连续一段时间未接受到信息的任务调度命令,且持续时间达到阀域值
Last Updated: 5/23/2020, 10:05:00 PM