php网页抓取，我一直用百度的hijack(的)

　　php网页抓取，我一直用百度的hijack(的)

　　php网页抓取，我现在一直用百度的hijack(的)，包括百度的推广链接、钓鱼，f12就可以，通过fiddler抓取不稳定，需要从该网站挂代理。

　　百度推广首页位置的百度站长平台，点击o2o公交车一页就进去了，看到地址，

　　我也找过，好像是游戏网站，应该还不是万能的百度。很多网站都找不到相应链接。

　　免费的挖矿平台:/

　　：利用百度hijack安全scrapshot，websocket抓取百度推广链接，一天可以抓取几千个，稳定效果好，

　　这两天也在找这个，我发现神狗站长软件里面的百度推广链接就抓到了。

　　我有一个问题，*敏*感*词*融的领域，所以为了提升竞争力，我*敏*感*词*融的竞争对手的公众号：网贷头子汇。通过百度搜索这个竞争对手的公众号的名称，然后按照知名度排序。目前我已经有1个月抓取了200个竞争对手的公众号，都是非常多人关注的。抓取了1个月，为了做一个对比，公众号换个名字再抓取一次。应该是5个名字以上。

　　不是有从torrent里查看github上的https内容吗？其实我一直觉得很好，一来torrent不稳定，有时候会消失，二来torrent下载到的文件都很大。（顺便吐槽一下我自己，我百度云不限速也下不下来。就算下来，好像也像我上传速度一样，根本传不完！）首先如果要抓取主流网站的https资源，那找到torrent编码规则即可，我这里采用美国一个小站torrentsearchengine的编码规则。

　　;list=pllohufrizaq%2bvmhpo33ckmldq&t=30s抓取正常浏览器（ie11以上）的无限速下载的文件。windows,android,ios都行，只要对端口要求没那么严格。如果不用torrent下载的话，或者是抓不到正常浏览器的torrent，可以直接从首页抓取顶部网页，然后在里面搜集相关资源。