# 常用接口

# 状态控制接口

1 启动风铃虫实例

crawler.start()

2 停止风铃虫实例

crawler.stop()

3 是否正在运行状态

crawler.isRun();

4 清空数据

crawler.clear();

# 任务信息接口

1 获取实例名字

String getName();

2 获取风铃虫定义

CrawlerRule getCrawlerRule();

3 任务的启动时间

LocalDateTime getStartTime();

4 获取爬取规则

CrawlerRule rule=crawler.getCrawlerRule();

# 组件接口

1 获取下载器

Downloader downloader=crawler.getDownloader();

2 设置下载器

crawler.setDownloader(Downloader downloader)

3 获取链接解析器

LinkExtract linkExtract=crawler.getLinkExtract();

4 设置链接解析器

crawler.setLinkExtract(LinkExtract linkExtract)

5 获取内容解析器

ContentExtract contentExtract=crawler.getContentExtract();

6 设置内容解析器

crawler.setContentExtract(ContentExtract contentExtract)

7 获取信息输出器

Pipeline pipeline=crawler.getPipeline();

8 设置信息输出器

crawler.setPipeline(Pipeline pipeline)

9 获取请求缓冲器

RequestCache requestCache=crawler.getRequestCache();

10 设置请求缓冲器

crawler.setRequestCache(RequestCache requestCache)

11 获取资源调度器

Scheduler scheduler=crawler.getScheduler();

12 设置资源调度器

crawler.setScheduler(Scheduler scheduler)

# 监控接口

1 获取状态观察者

StatuObserver statuObserver=crawler.getStatuObserver();

2 设置状态观察者

crawler.setStatuObserver(StatuObserver statuObserver)

3 获取事件监听器

CrawlerListener crawlerListener=crawler.getCrawlerListener();

4 设置事件监听器

crawler.setCrawlerListener(CrawlerListener crawlerListener)

# 统计接口

1 获取所有的任务总数

long  count = crawler.getAllTaskCount()

2 获取已经爬取的资源数

long  count = crawler.getExtractedTaskCount()
Last Updated: 1/7/2020, 10:34:40 PM