汇总:网页源代码分析-各级标签字段含义-爬取整体代码结构

　　汇总:网页源代码分析-各级标签字段含义-爬取整体代码结构

" />

　　文章采集程序简介本文采用的是python3.x语言开发，本文采用xpath命令遍历网页源代码，采用json格式的数据进行抓取，做成xml文件提供给各位读者（在实践中发现，xml文件是不能反向读取的，所以有必要说明）。本文结构如下：前言-分析原理-网页源代码分析-各级标签的字段含义-爬取字段含义（爬取过程分析-求字符串字典快速爬取）-爬取整体代码结构上篇文章我们学习到网页源代码是一组连续的json字符串，本文就是按照xml文件去处理网页源代码的一个列表，后面会用到en.xml2包去抓取图片、视频等网页源代码，也可以用xhr.request去封装爬虫进行代理请求或者抓取资源地址等操作。

" />

　　预告：后面将分享爬取android手机小视频网站的相关代码，望各位多关注！（之前写了一些c++爬虫之类的爬虫文章）一、前言为了抓取xml文件中的内容，有必要先了解如何编写xml网页的爬虫或jsonapi的爬虫。爬虫的第一步就是编写xml文件，理解xml文件是如何工作的，这是爬虫文章的基础。网页源代码位于目录下的en.xml2包中，下载xml文件的方法可以参考其配置文件，也可以直接到官网下载压缩包。

　　python2中，将源码提交到github主页下，xml2包的下载地址如下。对应的python3版本python3.6.2下载地址：-lang.pip.io/。下载完成压缩包，按照步骤一步步来。importxml2importosimportsysimportrequestsimportcsvfrombs4importbeautifulsoup%matplotlibinlineimportjsonclassxml2:def__init__(self,xml=none):self.xml=xmlself.outputurl=xmldefstart_doc(self,url):withopen(url,'r')asf:try:data=f.read().split('')try:file=f.readlines()withopen(file,'w')asf:line=f.readlines()printlineprintfilecount=json.loads(json.loads(content))withopen(file,'w')asf:r=f.read().split('')forrinrange(1,r):file+='\n'printrexceptexception,e:printedeftypez(self,url):item=''req={}self.url=self.xml.get(url)try:withopen(url,'w')asf:r=f.read().split('')foriinrange(len(url)):f.write(url+r[i])exceptexceptionase:printedefparse_python_xml(self,url):try:withopen(url,'r')。