网站文章采集(有道词典深度用户的php爬虫去做分词和模型训练)

　　网站文章采集(有道词典深度用户的php爬虫去做分词和模型训练)

　　网站文章采集到百度爬虫中，然后由爬虫将文章发送给对应的算法去做分词。我目前见过比较好的是百度的牛鼻子词计划，他们有专门人员去做爬虫分词和模型训练，效果挺不错的。

　　根据词频，区域，用户关系等组合从手机百度，其他入口拉取自己网站的文章过来，然后分词，切分词语的精确度，进行组合，切分词语后需要对文章摘要做短文本分析，计算用户的停留时间。然后就可以做摘要提取，或者直接做分词提取。如果需要获取其他网站文章，可以用百度广告路由网页。

　　为什么没有提问seo同学？？

　　分词

　　有人一直在做这个事情啊,而且大概率这个项目会取得一个非常优秀的结果.类似于"金山词霸"这样的.

　　分词，

　　这不是很正常的事么，我们公司有人搞过有道词典深度用户的php爬虫去抓取大多数外文资料。

　　推荐一个抓取代理ip的，是香港人，好像他们公司和网站有个对接协议。

　　外文不熟，就中文说说。有很多工具可以抓取，爬虫也不是非常难。

　　百度一搜一大把。

　　一、跨网站抓取*敏*感*词*文资料成本过高，海外数据更加稀缺，这在互联网用户规模早期发展时出现，本来可以带来更大的流量价值，

　　二、得到的结果，内容质量不高，经不起推敲，有的引来外国人看，有的只在中国的chinaz平台分享，基本上没有什么价值。不能使用可靠跨网站爬取的关键词。

　　三、方法一：谷歌索引，尽可能获取每个国家的数据，即便不在中国分享也不丢失全部数据，因为大部分中国的chinaz用户都只知道这一国家的知识，尽可能用多国语言搜集信息，才能获得更大的价值。方法二：使用代理，获取谷歌的免费代理ip，利用webserver进行代理抓取，这些也是缺点，数据质量差，有时候信息难免漏掉一些。方法三：使用代理ip，代理在国内用处有限，当用户使用在同国，用谷歌帐号登录时会被拉走。

　　四、因为经验或代理方提供的代理ip不可靠，会对网站程序造成一定的影响。所以不宜采用。

　　五、借助第三方软件，根据需要进行代理ip找寻和选择，如公共代理平台和不提供ip的代理平台。比如wuxiaworld::/winpython推荐github上面一些项目：zeutsche的项目【xcxhshku8p8u7ojashng2xxkyhcncnvlcdukwyh&abbucket=9#wangtangsense】chillingdom：：，我觉得可能最靠谱还是英文库下载。以及英文论坛instagram之类的，然后翻译成中文。然后再去爬你认为质量高的信息。