方法

说明

示例

setScheduler()

设置Scheduler

spipder.setScheduler(new FileCacheQueueScheduler("D:\data\webmagic"))

setDownloader()

设置Downloader

spipder.setDownloader(new SeleniumDownloader()))

addPipeline()

设置Pipeline，一个Spider可以有多个Pipeline

spipder.addPipeline(new FilePipeline())

public interface Pipeline {

// ResultItems保存了抽取结果，它是一个Map结构，

// 在page.putField(key,value)中保存的数据，可以通过ResultItems.get(key)获取

public void process(ResultItems resultItems, Task task);

}

spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())

public void process(Page page) {

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+)").all());

//保存结果author，这个结果会最终保存到ResultItems中

page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());

page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());

if (page.getResultItems().get("name")==null){

//设置skip之后，这个页面的结果不会被Pipeline处理

page.setSkip(true);

}

page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

}

public class ConsolePipeline implements Pipeline {

@Override

public void process(ResultItems resultItems, Task task) {

System.out.println("get page: " + resultItems.getRequest().getUrl());

//遍历所有结果，输出到控制台，上面例子中的"author"、"name"、"readme"都是一个key，其结果则是对应的value

for (Map.Entry<String, Object> entry : resultItems.getAll().entrySet()) {

System.out.println(entry.getKey() + ":\t" + entry.getValue());

}

}

}

public interface JobInfoDAO {

@Insert("insert into JobInfo (`title`,`salary`,`company`,`description`,`requirement`,`source`,`url`,`urlMd5`) values (#{title},#{salary},#{company},#{description},#{requirement},#{source},#{url},#{urlMd5})")

public int add(LieTouJobInfo jobInfo);

}

public interface PageModelPipeline<T> {

//这里传入的是处理好的对象

public void process(T t, Task task);

}

@Component("JobInfoDaoPipeline")

public class JobInfoDaoPipeline implements PageModelPipeline<LieTouJobInfo> {

@Resource

private JobInfoDAO jobInfoDAO;

@Override

public void process(LieTouJobInfo lieTouJobInfo, Task task) {

//调用MyBatis DAO保存结果

jobInfoDAO.add(lieTouJobInfo);

}

}

public void process(Page page) {

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+)").all());

GithubRepo githubRepo = new GithubRepo();

githubRepo.setAuthor(page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());

githubRepo.setName(page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());

githubRepo.setReadme(page.getHtml().xpath("//div[@id='readme']/tidyText()").toString());

if (githubRepo.getName() == null) {

//skip this page

page.setSkip(true);

} else {

page.putField("repo", githubRepo);

}

}

GithubRepo githubRepo = (GithubRepo)resultItems.get("repo");

类

说明

备注

ConsolePipeline

输出结果到控制台

抽取结果需要实现toString方法

FilePipeline

保存结果到文件

抽取结果需要实现toString方法

JsonFilePipeline

JSON格式保存结果到文件

ConsolePageModelPipeline

(注解模式)输出结果到控制台

FilePageModelPipeline

(注解模式)保存结果到文件

JsonFilePageModelPipeline

(注解模式)JSON格式保存结果到文件

想要持久化的字段需要有getter方法

类

说明

备注

DuplicateRemovedScheduler

抽象基类，提供一些模板方法

继承它可以实现自己的功能

QueueScheduler

使用内存队列保存待抓取URL

PriorityScheduler

使用带有优先级的内存队列保存待抓取URL

耗费内存较QueueScheduler更大，但是当设置了request.priority之后，只能使用PriorityScheduler才可使优先级生效

FileCacheQueueScheduler

使用文件保存抓取URL，可以在关闭程序并下次启动时，从之前抓取到的URL继续抓取

需指定路径，会建立.urls.txt和.cursor.txt两个文件

RedisScheduler

使用Redis保存抓取队列，可进行多台机器同时合作抓取

需要安装并启动redis

类

说明

HashSetDuplicateRemover

使用HashSet来进行去重，占用内存较大

BloomFilterDuplicateRemover

使用BloomFilter来进行去重，占用内存较小，但是可能漏抓页面

spider.setScheduler(new QueueScheduler()

.setDuplicateRemover(new BloomFilterDuplicateRemover(10000000)) //10000000是估计的页面数量

)