汇总:上海徐汇软件园：自动采集文章列表/7(图)

　　汇总:上海徐汇软件园：自动采集文章列表/7(图)

　　自动采集文章列表，得到可追踪的文章链接，实时进行抓取，抓取停留时间用于统计阅读量。加拿大的大多伦多大学推出了googlereader的doublestar功能，可以关注其上发布的每一篇文章，点击后收藏，过段时间后再点击收藏，可看到之前收藏的文章链接。更多信息，请参考这篇文章：-by-the-blog/。

　　国内的新浪爱问：

　　原来我写过一个，抓了几十万条结果没算出来有问题的，后来换了很多方法，最后实现了一个自动刷新的top。初步是根据不同时间段查看的文章量和关注者人数去竞争查看结果的top。下面是一个使用wordpress后台抓取的一个例子。tomcat，wordpress的运行环境：wordpress，tomcat中端；iis，web服务器；python3.7。

　　这个方法可以实现~最开始是复制别人的网页，提交抓取到内容后下载下来再提交但是现在直接爬虫抓取，

　　国内网站的话可以查看xgboost那篇文章

　　楼上说了各种网站实现方法。我这里说一个不需要开发，非常易用。但也不容易做到，且国内是不太可能找到代码了，大家可以试试国外网站，或许有些很简单的方法。上海徐汇软件园已有相关代码。

　　把内容过滤一下，或者做个分词组合词，或者学习google的云写作（类似quora的产品），对每个文本输出html编码。收效显著。