# 常用接口
# 状态控制接口
1 启动风铃虫实例
crawler.start()
2 停止风铃虫实例
crawler.stop()
3 是否正在运行状态
crawler.isRun();
4 清空数据
crawler.clear();
# 任务信息接口
1 获取实例名字
String getName();
2 获取风铃虫定义
CrawlerRule getCrawlerRule();
3 任务的启动时间
LocalDateTime getStartTime();
4 获取爬取规则
CrawlerRule rule=crawler.getCrawlerRule();
# 组件接口
1 获取下载器
Downloader downloader=crawler.getDownloader();
2 设置下载器
crawler.setDownloader(Downloader downloader)
3 获取链接解析器
LinkExtract linkExtract=crawler.getLinkExtract();
4 设置链接解析器
crawler.setLinkExtract(LinkExtract linkExtract)
5 获取内容解析器
ContentExtract contentExtract=crawler.getContentExtract();
6 设置内容解析器
crawler.setContentExtract(ContentExtract contentExtract)
7 获取信息输出器
Pipeline pipeline=crawler.getPipeline();
8 设置信息输出器
crawler.setPipeline(Pipeline pipeline)
9 获取请求缓冲器
RequestCache requestCache=crawler.getRequestCache();
10 设置请求缓冲器
crawler.setRequestCache(RequestCache requestCache)
11 获取资源调度器
Scheduler scheduler=crawler.getScheduler();
12 设置资源调度器
crawler.setScheduler(Scheduler scheduler)
# 监控接口
1 获取状态观察者
StatuObserver statuObserver=crawler.getStatuObserver();
2 设置状态观察者
crawler.setStatuObserver(StatuObserver statuObserver)
3 获取事件监听器
CrawlerListener crawlerListener=crawler.getCrawlerListener();
4 设置事件监听器
crawler.setCrawlerListener(CrawlerListener crawlerListener)
# 统计接口
1 获取所有的任务总数
long count = crawler.getAllTaskCount()
2 获取已经爬取的资源数
long count = crawler.getExtractedTaskCount()