无规则采集器列表算法(无规则采集器列表算法优化，你可以重新写一套采集程序)

　　无规则采集器列表算法(无规则采集器列表算法优化，你可以重新写一套采集程序)

　　无规则采集器列表算法优化，你可以重新写一套采集程序。（可以购买采集器算法库，根据需求修改算法），利用webgl以及python3d的方式去实现。

　　推荐一个叫青鸾的采集器，它对于各种网站都有自己的数据预处理算法，包括识别网页标题、语义分析等。识别网页标题是识别网页文本中每个词的词频率，识别语义分析是识别短语和短语之间的关系，以及每个关系是怎么构成的。识别短语之间的关系也可以识别站点的类型。

　　好麻烦说来说去说下来就那么几种用：爬虫机器爬虫程序，可以认为从各个网站爬取网页。代码安装直接github找，也很简单；如果以此为主，没有特殊要求，建议支持建站服务，可以是blogspot。如果特殊要求一般也不难；也可以从微博爬取每个微博的标题，包括简短的话；建站以后就要找网站开始爬取数据了。可以用以下几种方法：按照数据算法，随机分成多个域名的数据库并爬取到这些数据库里；然后使用脚本程序从网页中找到出来，如果不支持脚本就自己用爬虫爬取。

　　代码安装：-spider-practice/apache的wordpress免费的代码。爬爬爬！访问需要的网站到出现*敏*感*词*选择框，别人那有全选功能我那没，也没有加入脚本，爬取下来存起来。理论上说，还可以使用git客户端帮你完成代码中的repo记录，你可以根据爬取到的数据库，写爬虫程序来爬取包含所有的网站。

　　方法（android）android客户端程序。以题目中所提供的androidapp为例，在两个地方把你的爬虫程序安装上去：看不到看看看不到两个地方分别把第一个爬虫程序的varchar(128)参数改成3.改变另一个网站的网址，使其支持ssl:获取网站meta信息生成记录用爬虫去爬取支持请求https的网站，爬取下来保存为文件。

　　直接在浏览器里打开即可。也可以打开不要用代理。保存数据方法（ios）可以有第三方来做。好麻烦没有解决你的要求。这种方法的前提是有足够的数据库。数据库一般是很大的（>10万），可以参考开源的mongodb，或者oracle。快速收集数据的方法（apache）爬虫程序的代码中处理一些字段时需要导入相应api，例如爬取微博的。

　　这个有在android代码中通过whisper（）来做爬虫程序中数据库的处理。ios可以有更直接的方法。除了爬虫的方法外，可以采用后端数据抓取的方法进行网站抓取。同样有api接口可以导入。