采集相关文章(能不能接入sdk？公共页面怎么抓取？(一))

　　采集相关文章(能不能接入sdk？公共页面怎么抓取？(一))

　　采集相关文章软件都可以进行收集的，目前抓取手机端sdk还没有抓取成功过。不过可以利用ssms前端语言进行抓取。抓取之后应该是可以生成条件性的模板然后可以下载。用于二次开发。我个人经常用到的是fusionkeys还有guardianjs来抓取相关的页面。

　　首先是方案，比如通过js的形式来遍历地址栏信息进行抓取，方案之前你也说了，内部工具已经具备，那么你还要考虑的是公共页面怎么抓取？想想目前有哪些公共页面可以抓取，我是否要做二次开发。其次是技术部分。你需要一个支持蜘蛛爬取的数据抓取引擎，然后有一些网站对二次开发来说不友好或者可能存在较大漏洞，数据抓取器需要实现搜索地址下拉和一些弹窗等功能，需要对网站的主要功能进行封装实现。

　　现在遍布互联网的站点都是由js爬虫进行抓取的，以前可以用前端语言来解析，但现在js已经比较少见了，很多的网站有网页加密措施，没有抓取到数据就被浏览器拦截了，或者被某些黑客攻击了，不可逆的提取出你想要的信息就比较难了。有些网站对于爬虫解析的力度不够，访问量比较大的网站就会爬虫跟得比较紧，就没法直接解析了。

　　现在针对个人站长的网站抓取一般都是请求两次，一次request，一次response，两次访问都是一样的请求格式，像我们一般都是做爬虫测试，要尽量不多访问，才能尽量准确的拿到链接。我们目前也在想办法加强对数据抓取的监控，看看能不能接入sdk？。