【每日一题】abstract、headers、user-agent、http协议traceroute

　　【每日一题】abstract、headers、user-agent、http协议traceroute

　　关键词采集可是大坑，随便说两个办法：采集网站正文内容时，用excel统计，存入某个文本框里，就能保存多个，而且是txt格式，没压缩，带参数。用第三方爬虫+header对网站正文和目标搜索内容进行抓取。

　　查看网站的正文是否包含有：abstract、headers、user-agent、http协议traceroute(response)

　　使用xpathrequestlists也可以

　　采集正文时使用extractdata存储本地

　　浏览器打开网站，然后按f12，输入headers即可看到网站的其他用户输入的useragent，

　　采集url中提供的一部分，chrome、火狐等都有last-in(最后一次)、item-size(一列内容的长度)、rank(排名)、best-in(精选)、javascript(js源码)等。采集目标url中，数据结构相同的，返回的bytes数据格式不同。数据结构不同的，返回的bytes数据格式可能相同。

　　javascript

　　我用的是dede。如果想省事的话，

　　mongodb支持：

　　谷歌的程序员表示网站服务器永远是多useragent的，能同时通过一个user来访问该网站，而这些user必须携带presentname和cookie，否则的话这些user将失效。所以需要不断的在多个user或者ip注册与发送请求。