高亮的博客

# WebMagic

WebMagic底层还是用的 JSOUP，只是用来更方便

WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API,在基本不改变开发模式的情况下，编写一个爬虫。

# 四大组件

  • Downloader
    Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了 Apache HttpClient作为下载工具。

  • PageProcessor PageProcessor负责解析页而，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。

  • Scheduler Scheduler负责管理待抓取的URL,以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL,并用集合来进行去重。也支持使用Redis进行分布式管理。

  • Pipeline
    Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic 默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

# 数据流转对象

# request

request是对URL地址的一层封装，一个Request对应一个URL地址。它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。

# page

Page代表了从Downloader下载到的一个页面一一可能是HTML,也可能是JSON或者其他文木格式的内容。
Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

# Resultltems

Resultltems相当于一个Map,它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip,若设置为true,则不应被Pipeline处理。

# 依赖

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.9.1</version>
</dependency>

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.9.1</version>
</dependency>

← Docker →