算法 自动采集列表(算法自动采集列表页同类型的网站会以不同方式去展示)

　　算法 自动采集列表(算法自动采集列表页同类型的网站会以不同方式去展示)

　　算法自动采集列表页同类型的网站。不同类型的网站会以不同方式去展示这个代码，如：点击次数排名、信息时效性、与联系人是否有关联。如果你要做的是纯展示页面，那么可以采用时间倒排模型来解决，但你如果要做的是会员注册/帐号这种的。这样的话就有难度了，难点之一是你需要在一个月之内把代码开放给别人接受，另外在做的过程中需要不断对他的点击做记录，优化代码。一次两次没问题，多了之后可能就有点难度了。可以试一下routerman作为辅助工具。

　　一般情况下在pc端，你不要想着去做一个这样的页面，因为这个页面根本没办法展示网站信息。这样的页面很可能就是蜘蛛爬虫抓取浏览网站的记录（这样的抓取记录会被放到一个广告网络里去），蜘蛛就会把这个蜘蛛记录抓取下来，在m站的网站爬虫可以通过找到这个cookie来对应服务器，从而达到获取信息的目的。

　　需要优化页面的各个阶段。详细可以参考uwablog上大佬介绍的。

　　你可以做一个基于代码的爬虫脚本。通过对网站进行仿真爬虫代码或者利用excel导入php页面。然后直接通过页面的点击触发来采集和上传网站信息到mysql就行了。如果需要大量点击才能对页面进行捕获和上传的话，可以配合其他技术（sslhttps）进行抓取页面。附两个github项目，楼主可以参考一下：-greasyfork-blogpro，针对微博可以像购物一样动态上传数据和更新数据。-jiaxing-blog，仿真谷歌about.php，捕获上传的网站数据即可。