# 运行原理
# 运行流程
- 从资源调度器中获取一个下载任务
- 网页下载器根据下载任务信息从互联网上下载网页内容
- 从下载网页内容中提取出所有符合要求的链接
- 将提取出的链接放入链接池供调度器调度
- 内容解析器解析下载网页内容,根据配置从中提取出数据信息
- 信息输出器输出内容解析器解析出来的数据
在正常情况下,风铃虫会一直循环进行上述步骤,一直到任务完全完成。
# 任务完成条件
在一般情况下,只要风铃虫满足以下 任意一种情况就会停止实例的运行,并在停止运行后将状态改变的消息通过爬虫状态监听器 发送出去。
- 风铃虫停止接口被调用
- 风铃虫开启拦截检测功能后,连续检测到拦截标志出现,且连续出现的次数达到阀域值
- 风铃虫连续一段时间未接受到信息的任务调度命令,且持续时间达到阀域值