分布式支持

创建一个分布式爬虫的示例代码如下：

    //创建redis资源调度器
    Scheduler scheduler=new RedisScheduler(edisTemplate)
    //创建一个redis资源缓存器
    RequestCache requestCache = new RedisRequestCache(redisTemplate);

     crawler     
            .setRequestCache(requestCache) //设置使用redis资源缓存器
            .setScheduler(scheduler); //设置使用redis资源调度器