智能文章采集(智能文章采集技术实现方案：fdsb(first-datasetbased)是什么)

　　智能文章采集(智能文章采集技术实现方案：fdsb(first-datasetbased)是什么)

　　智能文章采集，文章存储，文章过滤和上传存储，智能移动端推送，开始即原创，机器文章发布，智能文章排序。技术实现方案：fdsb(first-datasetbased)是一款基于数据即为源的nativehtml解析工具。fdsb的最大特点是其文章采集的时候是智能分析源页面，以逐页文章采集方式，每次采集一页。

　　文章分析通过文章上下文的一些列关键词来判断文章的相关性，并且提供一种先进先验的解析方式，来判断文章的真伪与是否是原创。fdsb支持爬虫集（即），用户可以自由组合爬虫爬取的页面分析页面结构关键词相关性大文章文章的大致结构fdsb集成了多个javascript和css工具，使其能够轻松快速的应用到多种文章分析模式。

　　fdsb所包含工具及api名称：fdsblib(libraryfordatascience)fdsbapi(libraryfordataanalysis)fdsbbreq(first-datasetbased)文章采集器通用fdsbopensourcefdsbcrawler通用fdsbmarkdownwordapi通用fdsbfilejsonquerysample。

　　你说的“智能”可能是指“可以合并多个，但不能同时解析”吧。这种做法的本质是利用cookie来解析html并生成html。这样可以省去单独搜索的空间，但是可能会比较慢。有个比较合理的的方法是先在本地爬或者自己写爬虫爬一遍，然后上传到服务器解析（phantomjs+firefox+chrome），然后再批量上传到目标服务器，不需要额外解析。

　　实际工作中这样是不太方便的，所以最好的解决方法还是在爬虫里面根据tag配置解析参数，爬完一整块页面后phantomjs.lookup一下，找到需要的那一块。