汇总:采集内容插入词库程序的特点及特点分析-乐题库

　　汇总:采集内容插入词库程序的特点及特点分析-乐题库

　　采集内容插入词库，首先要做的就是要有内容的数据。爬虫工具我目前了解到有“全词抓取”这个工具，可以先抓取很多网站里的词语，爬虫能不能爬到，不能返回给java工程师这个可能就有问题。你可以自己配一个库，自己写一个库实现。爬虫程序应该是自己写的。

　　个人觉得搜狗的话可以用网页抓取（spider.baidu）。建议你抓网页的时候带上词库的url。

" />

　　你可以搜索一下网页的内容，有些词可能放在某些网站里，要不然你到搜狗搜索这个词，可能是其他的站收录的内容。我用的是sogou网页搜索，

　　个人感觉搜狗网页抓取比较好用。

　　搜狗搜索很方便

" />

　　有个工具很好用，将网页内容提取出来，可以上传词库，也可以分词抓取，是一种很好的方式，和插入网页词库不同，这种方式可以和java程序分享网页内容，segmentfault也有人有成功的案例。

　　搜狗搜索打开站内搜索网页才能搜索，是个很好的尝试。

　　从爬虫技术角度来说，一个好的爬虫程序应该具备如下特点：能够自动提取网页中提供给java程序爬取的词语或者短语；爬虫程序读取、提取网页的地址过程应该简单无脑；爬虫程序应该具有良好的个性化设置，要有完善的设计规范，方便以后更好地管理、使用。从java程序角度来说，一个好的java爬虫程序应该具备如下特点：能够自动提取网页中提供给java程序爬取的词语或者短语；爬虫程序读取、提取网页的地址过程应该简单无脑；爬虫程序应该具有良好的个性化设置，要有完善的设计规范，方便以后更好地管理、使用。