如何使用开源webmagic框架，进行定向的爬虫重试机制

项目中使用webmagic作为爬虫爬取框架，需要实现2个功能：

• 对于一些未爬取到的URL，需要做重试机制，重复爬取，设置爬取次数，直至爬取到网页内容或者达到重试次数。
• 用户点击停止，则停止对剩余URL的爬取。

这二个功能的添加都是对scheduler模块进行改造，webmagic的scheduler模块负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。此为实现的前提。

重试

由于使用过的是webmagic框架，框架中的pageprocessor模块自带方法page.addTargetRequest()来将URL添加到队列尾，前期在使用时，直接将未爬取成功的URL添加进去，发现程序并未对该URL进行重试，研究源码后，发现他的实现是：

在往队列中push元素时，会进行一次队列中是否有重复数据的判断，若有重复数据便不添加到队列中，因此，我们重写了scheduler：

停止

既然基于webmagic框架，则考虑对框架内使用的方法进行二次开发，原以为调用page.getTargetRequests().clear()方法，将所有剩余的request队列清空，即可达到停止的目的，后再项目上线后，运行几天，发现出现用户点击停止仍旧爬取的情况。

前面提到，scheduler模块使用JD内存队列管理URL。经过研究webmagic源码发现，程序在爬取下一个URL的时候，是从scheduler队列中直接push一个元素出来，而我的操作并没有对scheduler进行修改。所以重写了一下scheduler，添加一个方法：

之后在Spider（WebMagic操作的入口）启动时，前一个URL爬取成功进行Pipeline操作时，调用scheduler的clear方法，进行清空操作：

在Spider启动类的方法里面添加一个判断，其余不做修改，即可达到目的。