采集内容插入词库(【干货】采集内容插入词库；设置anti-spam超级爬虫程序)

　　采集内容插入词库(【干货】采集内容插入词库；设置anti-spam超级爬虫程序)

　　采集内容插入词库；设置anti-spam超级爬虫程序，默认爬取文章标题、内容描述、下图、评论。人工批量筛选内容；分词识别出特定词，并准备下次搜索，或移除已经匹配到的词。搜索前看看是否已匹配到词，再决定是否搜索。网址上了图片或者评论，需要前面有说明，如文章已经打码。之前想着发布在我的博客或者文章列表里没事就不进行系统的分词对，这次要注意下。

　　统计数据在什么时间或者怎么登录的，数据有多少，好做什么更有价值。网址和网站维护者等等。如果是anti-spam加速的，提取出来的内容可能被“蹭”到。把一些系统分词不方便分词的统计下他们爬虫抓的内容有多少。随机一个需要统计爬虫抓取什么内容的网站，批量爬虫遍历一遍。

　　对搜索引擎来说，关键不是多少文章，而是多少搜索量。以google+为例，想方设法提高分享率，提高followup数，将页面尽可能多分享，提高点击率，提高评论率，这样你就会有更多的收入。毕竟。搞了这么多天你肯定是不缺收入的。

　　检测banner是否会被调用，

　　写一个很丑的检测banner的插件

　　找出引起流量下滑的原因。从用户需求出发，找准几个潜在可能的需求。例如你的产品定位是通过数据分析来引导、指导、改进的行业应用。那么这次的抽样数据你考虑利用的方向是哪里？或者是过去的数据，当代有价值但不能代表未来的数据？那你就需要想办法去抓取和加工。例如你想要数据分析，那么你把所有的做数据分析的抓取了，是什么类型，什么方式，那他会在其他哪些有价值的方面对你做出有价值的指导？你是想通过数据来做过去或者现在的分析还是结合你的公司，分析背后的行业特点，那你就可以去收集已有的公司的数据了。

　　加上你的行业分析可以做出怎样的预测和判断。如果用户都不能代替你去实际分析出用户需求，那就不是你要做的数据分析。相反，如果你是指望着通过用户去分析，并且通过分析得出几个有价值的结论，那你最好做些筛选，哪些数据是你真正想了解的？那筛选就得去做用户分析，那你抓取的数据一定不能是已有的或者是简单的数据，是对你有价值的。

　　可以使用各种方式去利用数据去挖掘出用户真正的需求是什么，做到用户需求是你为什么能够实*敏*感*词*融的企业，那你可以通过他的需求结果就可以联想到他的应用层的，需求的能力，也可以知道目前他的数据有多少，需要跟金融类相关的哪些数据。另外一个，你可以通过你公司员工的数据来找到这个员工平时的消费习惯，周边的。