.py(postmain.headers)对应的url匹配方法

　　.py(postmain.headers)对应的url匹配方法

　　抓取网页数据，可以分为网页的抓取、页面的刷新等。假如你的爬虫是以分页数据为主，需要对网页的数据进行刷新操作。通常我们会为相应网页生成一个urllist来提供刷新需要用到的请求列表，作为数据的抓取（数据抓取）和分页list。这是一种比较简单的爬虫思想，不需要另外开发库（动态网页可以使用）。这种思想非常有效，使用python提供的get请求和header就可以直接完成这些操作，保持了简单的操作在复杂场景。

　　在比较简单的案例（分页数据较少的网站），可以直接使用python的requests库提供的header使用http请求来获取信息，此时header部分是必须的。用法非常简单，非常直接，像以下这种情况：get_mail.py(mail.headers)对应的url=/{}/mail/postmain.py(postmain函数是一个参数，即在header提供的不同参数中的一个值)对应的url=/{}/posts.py(posts函数提供的参数中有post、put、delete、content-encoding和content-types)。

　　说到这里我们应该有一个疑问：对于表单提交等一些复杂的数据格式，怎么办呢？这类数据是我们判断网页结构用到的常用数据格式，通常是动态响应的响应，我们会根据响应定位到最终的提交格式，对于不用response对象的情况我们通常是在python的requests库提供的get方法中抓取，header我们会提供两种。

　　网页数据抓取列表如果某网页数据非常多，你就想怎么完整地抓取完？其实，可以使用正则匹配或者规则匹配两种方法完成，最简单的是通过正则匹配的方法：网页数据抓取列表但对于一些非常复杂的网页，还是需要通过规则匹配的方法来完成，现在在搜索引擎中出现的一些规则均来自于规则匹配。规则匹配对于文本数据来说，非常有效。传统的正则匹配仅针对文本格式，可以适用于网页的大部分格式。

　　但规则匹配在实际操作中对于正则表达式的处理并不如正则匹配来得高效，这个我们后面有详细讨论。简单的正则匹配以下仅列举一些我们常用的正则表达式：1.斜杠_(通常用于换行和斜杠)2.只用/匹配多行和多行之间的行数3.匹配字符前的空格4.匹配每个字符均有多种匹配方式5.匹配字符中的双引号和单引号6.匹配字符前的空格7.只匹配字符中的“[]”和不包含任何字符的8.匹配字符中的“]”和不包含任何字符的9.匹配字符串中的双引号和单引号10.匹配none11.匹配任意字符，包括数字12.匹配一个大写字母或长度为len()的单词13.只匹配字符串中的aa和a或nn一列的单词14.匹配任意字符，包括数字，下划线等15.匹配任意字符，