怎样抓取网页数据(怎样抓取网页数据？要求：抓取所有域名的txt数据)

　　怎样抓取网页数据(怎样抓取网页数据？要求：抓取所有域名的txt数据)

　　怎样抓取网页数据？要求：1.老域名2.一个正确的前缀网址搜索，主要抓取几种字段，每种字段里面有哪些数据（名称类型是什么）3.带有下划线的。（不能是大写，小写等等）4.出现多个前缀的。5.如果对字段中的数据要求是可精确匹配，那么就是要用到http后缀字段（如手机、网络设备、桌面、shop等字段）那么最重要的部分来了，怎么找，tomcat或者linux。

　　-hans

　　不知道题主用的是什么抓包工具，建议用soapui，

　　下载ldap客户端，postman之类的，有settings.xml或者脚本之类的能定义抓包的参数，能很方便的统计出开始和结束时间，并且知道哪些systemversion。需要抓取所有域名的txt数据.excel的话，

　　可以先爬虫抓分析

　　windows下可以用sublime，简单好用，只要配置好编码，

　　可以自己动手自己写，也可以用在线的，推荐一个：互联网精灵：。多种语言都支持抓取，还有中文简体版。

　　题主的意思是想要搜集一些网站，对吧！那么可以在首页直接搜索一下“网站抓取”，当然，还可以在页面顶部重定向出来的index.html即可找到。

　　百度，

　　贴吧

　　维基百科里抓取搜索页面。

　　百度搜索了一下，结果如下：我在同一位置还发现了一个站点，收录了一百多万国内的网站，非常可观：。