初识网络爬虫-爱红旗渠

文章目录

1. 关于网络爬虫
2. DEMO

前些天，在百度搜索的时候发现一个坑爹的事情。别人未经同意抓取了我的博客文章，更气人的是搜索结果第一条也被他抢去。百度我已无力吐槽，只是这些抓取别人博客的人太可恨。言归正传，我不是来吐槽百度和那些网站的，他们抓取我的文章，肯定是用了网络爬虫。互联网离不开爬虫，爬虫这么重要，我也来学学爬虫，抓一些数据玩一玩。

关于网络爬虫

之前有做过一些网站 SEO 优化的事情，SEO 优化实质就是为了让网络爬虫更容易抓取到数据，并能够优先抓取我们的网站的数据。网络爬虫，又叫做网页蜘蛛。关于网络爬虫更多信息，可以查看百科的解释。网络爬虫的架构如下图：

Architecture of a Web crawler

网上开源的网络爬虫有很多，经过多方查找和看评价，最终选择尝试一下 WebMagic 。WebMagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

DEMO

WebMagic 架构

WebMagic 的架构如图：

TheArchitectureOfWebmagic

配置

首先要添加依赖，如下：

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.5.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.5.3</version>
</dependency>

分析和准备

我们以抓取博客园搜索结果页的链接地址为例。打开博客园，搜索 Android Monkey ，我们要把搜索结果页中的搜索结果链接抓取出来。

详细分析和准备步骤是：

首先准备搜索链接: http://zzk.cnblogs.com/s/blogpost?Keywords=android+log%E5%B7%A5%E5%85%B7%E7%B1%BB (搜索 Android Monkey 的第 27 页)
查看搜索结果页的源码，找到搜索结果链接，如 http://www.cnblogs.com/jingle1267/p/4068020.html ，查看所有的搜索结果链接，可以发现：博客园的文章链接结构是 http://www.cnblogs.com/…/数字.html ，即域名为博客园的二级域名，文章页面时一个数字串.html ，中间部分不用太关注。
根据搜索结果链接的规则，我们可以写正则匹配出所有的链接地址。

编写

经过上面的分析和准备，接下来我们需要实现 WebMagic 的 PageProcessor ，代码如下：

package com.ihongqiqu.cnblogs;

import com.google.common.collect.Lists;
import us.codecraft.webmagic.*;
import us.codecraft.webmagic.pipeline.CollectorPipeline;
import us.codecraft.webmagic.pipeline.ResultItemsCollectorPipeline;
import us.codecraft.webmagic.processor.PageProcessor;

import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;
import java.util.List;

/**
 * 网址抓取器
 * <p>
 * Created by zhenguo on 10/14/16.
 */
public class CnblogsProcessor implements PageProcessor {

    public static final String BLOG_URL = "http://zzk.cnblogs.com/s/blogpost?Keywords=%s&pageindex=%d";

    public void process(Page page) {
        // http://www.cnblogs.com/sunjialiang/archive/2011/08/16/2140636.html
        List<String> strings = page.getHtml().links().regex("http://www\\.cnblogs\\.com/.*/?\\d+\\.html").all();
        page.putField("url", strings);
    }

    public Site getSite() {
        return Site.me().setDomain("zzk.cnblogs.com")
                .setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31")
                .setCharset("GBK").setSleepTime(500);
    }

    public static void main(String[] args) {
        CollectorPipeline<ResultItems> collectorPipeline = new ResultItemsCollectorPipeline();

        Spider.create(new CnblogsProcessor())
                .addUrl(
                        "http://zzk.cnblogs.com/s/blogpost?Keywords=android+log%E5%B7%A5%E5%85%B7%E7%B1%BB"
                )
                .addPipeline(collectorPipeline)
                .run();
        List<ResultItems> resultItemsList = collectorPipeline.getCollected();
        List<String> urls = Lists.newArrayList();
        for (ResultItems items : resultItemsList) {
            List<String> suburls = items.get("url");
            urls.addAll(suburls);
        }

        for (String url : urls) {
            System.out.println(url);
        }
        System.out.println("\n共计 " + urls.size() + " 条信息");
        System.out.println("\n===================\n");
    }

}

结果

运行 main 方法后，控制台输入的结果如下：

WebMagic Cnblogs Search Result

拓展

根据上面的分析，我们已经可以抓取到搜索结果页的链接，但是这个只是抓取单个页面的数据。通过对搜索链接的分析，其实搜索链接也是有规律可循的，我们可以设置搜索的关键字和抓取的页码，具体键代码：

/**
 * 根据关键字也分页数来抓去所有搜索到的博文链接
 *
 * @param keyword   要搜索的关键字
 * @param pageStart 开始的分页 pageStart >= 1 默认是1
 * @param pageSize  要抓取的页数 pageSize >= 1 默认是1
 * @return 搜索到的过滤后的博文链接
 */
public List<String> getUrls(String keyword, int pageStart, int pageSize) {
    pageStart = pageSize < 1 ? 1 : pageStart;
    pageSize = pageSize < 1 ? 1 : pageSize;

    String[] searchUrls = new String[pageSize];
    for (int i = 0; i < pageSize; i++) {
        try {
            searchUrls[i] = String.format("http://zzk.cnblogs.com/s/blogpost?Keywords=%s&pageindex=%d",
                    URLEncoder.encode(keyword, "UTF-8"), pageStart + i);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }

    CollectorPipeline<ResultItems> collectorPipeline = new ResultItemsCollectorPipeline();

    Spider.create(new CnblogsProcessor())
            .addUrl(searchUrls)
            .addPipeline(collectorPipeline)
            .run();

    List<ResultItems> resultItemsList = collectorPipeline.getCollected();
    List<String> urls = Lists.newArrayList();
    for (ResultItems items : resultItemsList) {
        List<String> suburls = items.get("url");
        urls.addAll(suburls);
    }

    System.out.println("\n共计 " + urls.size() + " 条信息");
    System.out.println("\n===================\n");
    return urls;
}

正如 WebMagic 作者所言：WebMagic是一个简单灵活的爬虫框架。网络爬虫真实一个好工具！

本文地址 http://94275.cn/2016/10/26/web-crawler/ 作者为 Zhenguo