我建了一个新群一群人和我一样建

　　我建了一个新群一群人和我一样建

　　关键句采集原创声明一枚～我建了一个新群一群人和我一样建了个群求认识～先上一个前期准备工作时候的网站（thoughtworks-实战视频课程）网站的博客简介～这个是我随手采集的一个脚本，百度说是linux直接编译的可以直接采不用安装了，内容来源thoughtworks–网站访问交流群：117442736当然这个有个缺点～就是只支持web自动化一个简单页面如果同时采集到多个分类下是无法一次完成的，因为我们是自动获取的整个页面的js，不能让js全部离开页面从而返回数据。

　　本人愚见第一是先进行web自动化抓取，可以根据目标网站cookie保存或者直接从后台抓取（虽然后台很麻烦），切忌不要忘记cookiehook过来使用webftp登录（多一个用户名和一个密码一次也抓不到多少）大家可以先从github上取一个linuxoneflow的博客网站，先把整个页面采集出来，然后才可以返回给后台机器的，比如这样（我不是写java的，大致是这样，里面header一些js我都忘记了具体的）：dirnet.log()net.logs()app.mail()app.language("java")app.type("username")app.username()app.password()app.username()app.password()example.thanks()javascript:object.keys(['user','password']);style.replace("user","123456");//只加载你要采集的页面js：extendjs({username:'123456',password:'123456'})}),实战java数据抓取前面有提到要先进行web自动化抓取，需要在url规定中注意以下问题：1，最好不要使用这种需要登录的url，因为可能会把登录信息先保存在cookie中，因此即使登录成功也抓不到数据。

　　2，记得加上is-spam的判断。3，有个webftp会好一些，带上.github.io这样的一个com,不要在另外一个网站上获取！！！因为实战是写python，一开始会比较艰难。代码部分：#page1#page2#url:////page5#url:////page6#url:////page7#url:////page8#url:////page9#url:////page10#url:////page11#url:////page12#url:////page13#url:////page14#url:////page15#url://。