网站自动采集文章(网站自动采集文章有了清晰的文章目录与分类整理)

　　网站自动采集文章(网站自动采集文章有了清晰的文章目录与分类整理)

　　网站自动采集文章，有了清晰的文章目录与分类整理，可以大大降低爬虫采集的成本，提高用户体验。

　　我了解的各大导航网站目前是两种方案，一种是技术手段采集，使用很多html、php、node.js、css、javascript来存储内容，再用其他爬虫工具爬取内容，再存储html；第二种是网站数据被收入数据库，用专门的爬虫工具从数据库提取内容，再存储html。各大导航网站都是采用第二种方案。

　　数据库，比如12306，或者对于一些系统庞大的c2c站点，可以和公司人分工合作，交代清楚，

　　保存html导航结构不同的网站需要不同的处理方式数据库：可以选择mysql/mssql、postgresql、sqlserver等分布式的存储引擎php：使用php7及其以上版本最近用php5.3.6很方便的访问一个新站点pdf导航：可以使用adobeacrobatpro，应该目前已经支持识别html导航文本的自动引擎ai：使用一些第三方的工具或者算法，比如wordpress的导航采用的是rulexml。wordpress不是特别清楚能不能使用。

　　其实就是加一个network代理，用一个爬虫工具来爬收集新站的内容。

　　现在很多大的导航网站都是oneticyspider提供的。

　　搜了很多后，我比较了一下url自动循环，爬虫捕捉，query自动获取等。只记得循环limit太大了。比较有技术含量的还是query自动获取。