java爬虫抓取网页数据(创建Java工程build.gradle框架NetDiscovery演示)

　　java爬虫抓取网页数据(创建Java工程build.gradle框架NetDiscovery演示)

　　大家好，说到爬虫，相信很多程序员都听说过。简而言之，就是一个自动批量抓取网上信息的程序。接下来，我将用 github 上的爬虫框架 NetDiscovery 进行演示。

　　

　　网络发现

　　1）为什么要使用框架？

　　框架可以帮助我们处理与目标任务不直接相关的基本任务，使我们能够专注于目标任务。尤其对于爬虫初学者来说，可以很快的体会到操作爬虫带来的效果和成就感，不用担心多余的事情。进门后，尝试不依赖框架，从零开始写爬虫程序，然后研究别人搭建的爬虫框架。看完爬虫框架的源码，相信你已经对网络爬虫做了一些研究。.

　　2) 演示环境

　　Java JDK8、IntelliJ IDEA、谷歌浏览器

　　爬虫框架 NetDiscovery：

　　3）确定爬虫任务

　　从人才招聘网站获取指定职位信息：公司名称、职位

　　4) 人肉分析网页

　　用chrome浏览器打开目标网页，输入查询条件，找到显示职位信息的网页：

　　

　　网页信息

　　红框内的文字是我们计划编写程序自动获取的信息。

　　这个环节的分析工作非常重要，我们需要对我们爬取的目标网页和目标数据有一个清晰的认识。人眼已经可以看到这些信息了，接下来就是写一个程序教电脑帮我们抓取。5）创建一个Java项目

　　创建一个gradle java项目：

　　

　　创建一个 Java 项目

　　

　　构建.gradle

　　在项目中添加爬虫框架NetDiscovery的两个jar包。当前版本是 0.0.9.3。版本不高，但版本更新迭代很快。我相信这是一个不断增长的力量框架。

　　group 'com.sinkinka'

version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {

maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}

mavenCentral()

jcenter();

}

dependencies {

testCompile group: 'junit', name: 'junit', version: '4.12'

implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'

implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'

}

　　如果不能下载，请添加阿里云镜像地址：

　　6）代码实现

　　参考框架中示例模块下的示例代码，以及另一个示例项目：

　　在java的main方法中编写如下代码：

　　package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;

import com.sinkinka.parser.TestParser;

public class TestSpider {

public static void main(String[] args) {

//目标任务的网页地址，可以拷贝到浏览器去查看

String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";

//依靠NetDiscovery，我们只需要写一个parser类就可以实现基本的爬虫功能了

Spider.create()

.name("spider-1") //名字随便起

.url(url)

.parser(new TestParser()) //parser类

.run();

}

}

　　TestParser 类的代码：

　　package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;

import com.cv4j.netdiscovery.core.parser.Parser;

import com.cv4j.netdiscovery.core.parser.selector.Selectable;

import java.util.List;

/**

* 针对目标网页的解析类

*/

public class TestParser implements Parser {

@Override

public void process(Page page) {

String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";

List trList = page.getHtml().xpath(xpathStr).nodes();

for(Selectable tr : trList) {

String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();

String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();

if(null != companyName && null != positionName) {

System.out.println(companyName+"------"+positionName);

}

}

}

}

　　运行结果：

　　

　　运行结果

　　7) 总结

　　本文依靠爬虫框架来演示一种用最简单的代码爬取网页信息的方法。更多实用内容将在后续发布，供大家参考。

　　NetDiscovery爬虫框架基本*敏*感*词*

　　

　　网络发现