一是人工采集,二是智能采集(人工采集,二是智能采集.ai采集短路径介绍)

　　一是人工采集,二是智能采集(人工采集,二是智能采集.ai采集短路径介绍)

　　一是人工采集,二是智能采集.ai采集是基于机器学习来寻找最短路径。首先基于爬虫知识点的自然语言寻找最佳短路径，

　　可以先看一下比如scrapy或者pythonweb开发的flask这两个都提供了api，基本上的网站都能模拟或者让爬虫采集到如果你有兴趣，

　　scrapy

　　不用，网站站内有反爬虫机制。

　　模拟http请求参数验证。能模拟到的都是可以爬到的。

　　模拟正则引擎（requests\scrapy\lxml）抓取

　　正则匹配

　　有的网站可以爬到数据之后用java或者python可以做点啥。

　　是python或者java

　　用java等框架实现吧，想象以下大网站你从后门直接发数据，

　　可以用python写。可以在自己网站抓测到验证码。

　　tor，urllib，

　　根据你所要爬取的网站，从网上爬取验证码，配置对应的网站比如12306验证码解码，好好研究一下，

　　这个是可以做到的，我网站以前用的就是python，用了一段时间发现根本不行，爬到最后得到一些不是图片的东西，而且很难找到那个页面。随后换了tor，cookielib，webpage等，也用过其他的。这个真的要爬取到你需要爬取的网站后，那你也要写一个tor,cookielib，要跟自己所爬取网站结合才能好用，还有bs5等，以及一些小的技巧和解决方案。推荐python5，可以爬取到自己所要爬取网站的验证码和一些图片，很好用。