网页抓取数据 免费(网页抓取数据免费的有：nginx和nginx的特点及特点)

　　网页抓取数据 免费(网页抓取数据免费的有：nginx和nginx的特点及特点)

　　网页抓取数据免费的有：1.用户分析，类似processon，支持关键字，工作量，时间，人等度量指标2.scrapy，主打批量抓取，但是需要安装grab，pipinstallgrab3.fiddler，apache，可以抓你网站源码，找到代理，抓取到静态页面后转成html格式4.反爬，fiddler和fiddleriis版本互相修改配置，一直可以抓取到iis后台，如果fiddler后台模拟真实ip的话，那么基本可以和正常apache搭起来，利用ip打几个iframe，自动抓取。

　　最近在研究apache和nginx，基本在开源社区和国内apache和nginx这两个技术老将的文档和知识库上，都能够找到入门教程。简单在这里总结一下:http/1.1常见协议有五大，tcp，udp，udp_get等，udp也开始走向非对称的点对点传输。我这里先理解udp和udp_get好了。udp的特点：容错性弱，只能传输双向数据(必须发送方和接收方都同时在线才能传输)，所以就衍生出了get和post两种请求方式；ip-based的方式也会使用这种方式，而且传输的数据格式为3进制，所以dict就可以使用。

　　简单理解就是ip是你对网站的访问id，然后其他方式就是人/手机号码等等，你想要把id指明给网站，方式就是发送dict，然后就指明了id。具体http协议的协议原理自己度娘。udp可以支持pop3，ftp传输协议，但是目前还没有保证多主机多域名，因为多主机后，udp传输数据的安全性会受影响。这边在先看看nginx是如何实现的吧。

　　nginx基本就是一个tftp服务器，你可以理解成是一个协议的documentserver。当你post/data时，会被转化为nginx的tftpserver（即ftp），然后转发给nginx的相应端口和unix系统下的ip_get请求。然后你输入username和password查看一下你发来的ip码，就好像你把你的数据发给了nginx一样。具体怎么理解上面udp协议和上面post请求的转换，这里不展开。