自动抓取网页数据上传至内网可以是restfulapi也可以抓取

　　自动抓取网页数据上传至内网可以是restfulapi也可以抓取

　　自动抓取网页数据上传至内网可以是restfulapi也可以是对外封装一个小程序这两种方式都不错但是你的网页一定要是https，

　　还是用http吧

　　泻药web程序网页抓取都要用到restfulapi吧？给你点想法你可以做到一个*敏*感*词*，触发抓取。类似网络控制台，你可以控制你的http服务器。基于http抓取任何你想抓取的网页信息是没问题的。可以参考这个程序来实现:，但是不是你想要的类型的。如果想要做一个生产的，或者知名一点的专门做抓取的网站，建议使用selenium或者webdriver；可以关注下我的专栏：。

　　firefox插件抓取很不错的

　　我做了一个网站，服务器在美国，采集源网页地址如下，我只抓取https的地址，

　　通过http和restfulapi做吗

　　最新一款springframeworkgo实现网页抓取网页抓取colasoo项目github地址我正在用mac上写这个

　　我用的抓取包easycrest目前已经可以抓取部分国内电商网站了

　　有几个框架可以实现电商网站的抓取数据：redismemcachedubboxdebuglyadaptorapache+redis+memcacheddubbo+dubboclientapacheactivemqzookeeper

　　有专门写的抓取包也可以参考使用

　　我目前正在搞的过程中，抓数据经验是事无巨细都要抓，在firefox浏览器下面已经封装好了httpheader，可以和module里边的header对应过来，最多几十行就可以抓到数据了，所以将firefox扩展了，可以封装成一个jsextension，这样在封装的firefox下面可以像firefox浏览器一样去抓，就跟搜索引擎一样可以抓数据了。