网页抓取 加密html(网络爬虫获取的一般方法，你知道吗？（一）)

　　网页抓取 加密html(网络爬虫获取的一般方法，你知道吗？（一）)

　　网络爬虫是实现网页数据获取的通用方法，需要成功模拟微博登录，然后输入设置的入口URL地址，将网页内容按照一定的策略以文本形式存储在一定的存储系统中，同时抓取网页中其他可作为二次爬取入口的有效地址，爬虫程序将停止，直到满足指定的爬取条件或爬取结束。但是，由于网页是用HTML语言的元素标记的，所以在获取网页信息时需要分别抓取不同的数据标签。这种获取方式的前提是你需要先登录微博。只有登录成功后，网页对应的cookie值才会被保存。然而，由于微博平台的相关设置，一般的网络爬虫在获取数据方面有很大的局限性。，所以如何获得微博网站的“信任”也是一个重要的问题。同时，由于微博数据格式的多样化，包括文本、表情、超链接、地理位置、用户关系等，这也增加了获取数据的难度。另外，微博爬虫程序存在效率低的问题。同时，这种方式获取的数据往往是杂乱无章的，因此如何规范数据的获取，提高爬取效率是另一个大问题。所以，“爬行动物”很容易理解，刚开始的时候一定要考虑清楚。那么如何获得微博网站的“信任”也是一个重要的问题。同时，由于微博数据格式的多样化，包括文本、表情、超链接、地理位置、用户关系等，这也增加了获取数据的难度。另外，微博爬虫程序存在效率低的问题。同时，这种方式获取的数据往往是杂乱无章的，因此如何规范数据的获取，提高爬取效率是另一个大问题。所以，“爬行动物”很容易理解，刚开始的时候一定要考虑清楚。那么如何获得微博网站的“信任”也是一个重要的问题。同时，由于微博数据格式的多样化，包括文本、表情、超链接、地理位置、用户关系等，这也增加了获取数据的难度。另外，微博爬虫程序存在效率低的问题。同时，这种方式获取的数据往往是杂乱无章的，因此如何规范数据的获取，提高爬取效率是另一个大问题。所以，“爬行动物”很容易理解，刚开始的时候一定要考虑清楚。地理位置、用户关系等，这也增加了获取数据的难度。另外，微博爬虫程序存在效率低的问题。同时，这种方式获取的数据往往是杂乱无章的，因此如何规范数据的获取，提高爬取效率是另一个大问题。所以，“爬行动物”很容易理解，刚开始的时候一定要考虑清楚。地理位置、用户关系等，这也增加了获取数据的难度。另外，微博爬虫程序存在效率低的问题。同时，这种方式获取的数据往往是杂乱无章的，因此如何规范数据的获取，提高爬取效率是另一个大问题。所以，“爬行动物”很容易理解，刚开始的时候一定要考虑清楚。

　　#### **一、知彼**

　　在研究获取微博数据的方法之前，有必要了解微博页面的信息结构，明确我们需要获取的数据在网页上的呈现形式，然后分析网页的源代码和网页的数据流向确定微博界面的分析以及获取页面数据的必要技术手段，以便我们更好地发现需要解决的问题并提出解决方案。

　　如果要分析面向特定话题的微博页面（话题首页和评论页面），信息结构如下（此*敏*感*词*孩被攻击”话题页面进行分析）：

　　![]()

　　![]()

　　![]()

　　关于特定话题的微博发帖界面，如图所示，微博话题首页界面划分非常清晰。去掉那些与话题内容无关、与价值信息无关的模块后，主要分为标题栏、发帖栏、话题版主栏和最新参与者栏。发帖栏可分为版主推荐栏和热门评论或当前评论组栏两大板块。热门评论或当前评论组栏目实际上是由三个15个帖子模块组成，每个15个帖子模块的地址不同。这是微博特有的页面结构特点，无疑给页面信息数据的获取增加了一定的难度。然后，

　　![]()

　　![]()

　　特定话题的微博数据还包括对关键帖子的评论，如图所示，例如“一博酒店被袭”事件。对于这个社交话题，是一位微博用户自己发起的。因此，一开始，大多数网民都在评论话题发起人的帖子。这些评论是有关该主题的重要信息来源。因此，评论信息也是微博数据研究的一个重要方面。

　　综上所述，从技术角度来看，这些模块都是使用基于CSS技术的代码实现的，模块之间的区别是通过

　　用这样的logo来划分，所以模块之间有明确的界限，方便我们分析整个微博页面的结构。

　　#### **二、肾脏**

　　通过对特定主题下的微博网页信息结构的分析，不难发现微博数据呈现在静态网页上，比动态网页更简单。静态网页上的信息是通过HTML 语法编码实现的。这个可以通过微博后台源码验证。此类网页可以收录数字、文字、表情、图片、视频、链接等，内容的多样性也增加了数据获取的难度。

　　对于HTML网页的数据获取方法，结合微博网页的特点，首先将某个URL下的页面解析成一棵树，然后遍历树中的目标数据，得到目标数据。但是，特定主题下的实际微博页面数据被划分为许多块。这些块有的根据位置来区分，有的通过一些特殊的标签进行组织，数据位于不同的块中。地址也不一样。在这种情况下，同一主题页面下的页面分析需要对网页中数据的多个地址进行单独分析，并遍历同一标签。幸运的是，微博正文的帖子部分分为4个区块，但每个区块的HTML标签基本没有变化。在这种情况下，

　　结合特定话题下微博页面的信息结构分析，微博数据的获取主要是通过json解析浏览器地址和返回地址来获取网页数据。现将微博数据通过两种方式的获取过程总结如图：

　　![]()

　　通过对上述采集过程的介绍，特定主题下的数据采集方式主要有以下几种：

　　**1、Jsoup 的 HtmlParse 技术**

　　作为Java的HTML网页解析器，Jsoup提供了很多有用的API，因此可以通过URL地址和文件直接加载Document对象，可以直接解析html字符串或body片段，也可以使用CSS、DOM、jQuery等操作方法。执行直接数据（HTML 文本、属性、元素）读取和操作。用它来解析网页的好处是可以快速解析HTML代码，并在解析过程中保证结果的准确性，而这个优势与jsoup选择器的作用是分不开的。在使用Jsoup解析html之前，因为使用Jsoup解析网页的过程涉及到Node、Element、Document等类的使用，需要先了解DOM结构。

　　节点在解析HTML的过程中，文档、标签、属性、文本、注释都被视为节点，将被构造成节点树。元素通常包括标签名称、属性和子节点。在一个Element中，可以进行数据抽取、节点遍历等操作。Document作为加载html的文档类，是Jsoup中一个重要的核心类。使用这三个类的目的是为了在select选择器进行分步标签选择时准确提取目标数据，同时也方便了文档的遍历操作。

　　Jsoup 更优越，因为它可以使用类似于 jQuery 的选择器来检索和查找元素。它还可以直接从元素集合中提取文本、属性和html内容，而Jsoup只需要一行代码就可以实现其目的，而其他HTML解析可能需要多行代码才能实现相同的功能。

　　![]()

　　选择器可以通过使用Element.select（字符串选择器）和Elements.select（字符串选择器）两种方法找到匹配的目标元素。Select 方法可以作用于 Document、Element 或 Elements，并支持 CSS 或 jQuery 语法，最终返回一个元素列表（Elements）。

　　**2、正则表达式**

　　正则表达式是使用一些预先定义的特殊符号对字符串进行逻辑过滤的操作。目的是用简单的字符匹配代替复杂的简化字符串代码程序，从而实现字符串处理的便利性。和效率。

　　![]()

　　#### **三、百战百战**

　　根据以上功能需求分析，爬虫程序大致可以分为三个模块：微博平台模拟登录、数据抓取、数据存储。具体来说，微博平台的模拟登录模块是后两个模块实现的基础。核心部分是数据采集模块，是实现特定话题的微博数据采集的关键模块。第三个模块是抓取 抓取过程的画龙点睛是对抓取过程中获取的数据的具体展示。下面详细解释：

　　![]()

　　服务端审核通过后会返回一串字符；获取合法地址的部分会分析返回的字符串。就是获取URL的合法地址。

　　将其与已知地址拼接得到目标URL地址；然后HTML代码获取部分从目标URL地址中获取目标数据所在标签范围的HTML代码；最后目标数据获取部分会分析HTML，并从中提取出所选字段的目标数据。

　　（3)微博数据存储模块：这部分功能是将采集模块获取的数据有效地存储到特定的数据表中，方便用户随时随地查看和处理。技术上，这个模块主要是存储微博数据，将抓取模块获取的数据列表循环存储在数据库中，方便用户使用和处理锁喉数据。

　　总结技术实现，流程如下：

　　![]()