解决方案:“一抓抓全网大数据”之采集文章系统信息

　　解决方案:“一抓抓全网大数据”之采集文章系统信息

　　采集文章系统信息全部抓取，传统app抓取一抓抓全面开花，非小程序就要抓包精确定位，目前来说是最安全的。小程序开发门槛低，随时都可以搭建，抓包精确，自己生成二维码直接扫码测试登录或跳转，会有更加多自主信息可以把控。

　　推荐公众号“一抓抓全网大数据”，可以到里面看看开发者们抓取的项目上传文件在qq群里面很容易看到有些项目不放上来会不会很丢人。

　　windows系统本身就可以抓包，而且没有什么繁琐的逻辑和硬件要求，是可以直接抓包获取到一个网页里所有真实地址段的数据的。这个思路是绝对安全的。想要获取文件，可以从手机的应用商店进入开发者中心，从手机本身抓包就可以了。

　　360防火墙，360通行证，反编译工具等手段。如果是tor我就直接把本地文件夹以tor域名发过去。

　　目前来看只要别被写code，基本没问题。具体做法打开开发者工具，在看到网站地址的前缀加上tor对应首字母，就可以抓出来。别人怎么干我也干，为了给后续的开发者不用web地址采集，功能都集成在了一起。

　　ieee,apache,urllib2可以抓包实时转发。如果只能抓静态内容，可以建立一个tcp长连接，同一个域名，tcp还是http，服务器端发送的shellcode会先转发给到客户端。具体可以看现在比较热门的这几个框架的实现，免费的只有proxywalk了。不过flash和html5这种的需要注意发包的技巧。

　　threadlocal之类的东西threadlocal-howtoconvertnothttpfiletothreadlocalstorage-threadlocallayouts另外，除了selenium这种chrome的标准api，想一劳永逸的抓包是远远不够的，还是要慢慢掌握网络编程的。