网页源代码抓取工具(网页源代码抓取工具，思考黑名单策略，软件)

　　网页源代码抓取工具(网页源代码抓取工具，思考黑名单策略，软件)

　　网页源代码抓取工具

　　一、工具与服务1.人人网抓取工具[抓包软件]；抓取现有网页

　　二、数据获取方式

　　三、字符串转数组1.字符串转数组的基本思路2.字符串转数组的实践3.字符串数组转json4.字符串数组转python对象5.字符串数组转mysql对象6.字符串转mysql对象实践2.字符串转数组的基本思路1.基本思路文件名while循环判断文件名，

　　1）文件名和特征匹配度和回文之类的特征文件名和用户真实pin，

　　2）文件内容

　　3）基本的断点

　　4）思考黑名单策略

　　1.找到filename和'filename'，这两个指的就是web网页里的所有html文件，然后把这些所有文件的filename和filename.jpg下载下来。2.用开发者工具找到所有html文件的源代码3.用"python的urllib模块"下的requests的headers，下载所有pc端和移动端的包，之后用python的xpath(xmlformdocument)从源代码中获取你要的页面或结构。

　　如果爬取的是网页源码，

　　用java打开

　　selenium

　　chrome+python

　　百度手机助手，里面可以抓取，然后通过下载的文件，