自动采集推送(php代理自动采集推送文章的方法和方法比较多？)

　　自动采集推送(php代理自动采集推送文章的方法和方法比较多？)

　　自动采集推送文章，主要是依靠爬虫来采集，之前在weixin全球共享资源没有发现有java工程师专题，搜狗浏览器也没有发现类似的，

　　爬虫开发不难，

　　自动采集需要爬虫本身需要爬取，

　　爬虫就没自动了爬虫本身要设置规则，但是现在主流的爬虫都不用设置规则了，可以采用的方法比较多，我这边会用到php的qsapi爬虫。windows与linux都有，其他的语言没接触过。php在后端也能接入，我自己给别人写了个爬虫服务器，直接在php官网上注册账号登录，给到请求。

　　页面爬虫，貌似安卓比较多，

　　我知道的是，产品经理是利用api去推送的，qq浏览器没这功能，用php代理，爬虫在爬取的页面请求返回的json数据里面可以实现图片文字位置精确定位，效果如下图：爬虫可以应用的场景是比较多的，比如短信推送，语音推送，地址导航，地址栏定位，二维码二维码分析，二维码可以搜索相关的地址，识别出来你们的公司名称，图片名称和链接可以分析出来你们的公司照片图片分类等等。

　　对爬虫的要求比较高，对ui需求，定位之类的要求高，有些要求es内存模块定位，有些要每次都通过安卓api定位。

　　会java的话可以用我写的一套中文转英文翻译的抓取系统，里面的一大堆网站都可以抓，挺方便的，