curl抓取网页,查看源码信息不方便,一个是需要装一些插件

优采云 发布时间: 2022-05-26 04:05

  curl抓取网页,查看源码信息不方便,一个是需要装一些插件

  curl抓取网页,查看源码信息不方便,一个是需要装一些插件,一个是可能用到xpath语法,一步步进行判断,因此需要学习xpath解析xml网页,之后就知道怎么请求了。

  你是requests库或者beautifulsoup库的配置有问题,还是说你的请求代码有问题。

  补充一个方法,重定向你的问题到谷歌,然后能看到的答案更多,而且还可以谷歌到一些当下的技术方向。

  我还是推荐找个javascript库解决这个问题。推荐一个javascript库,

  用python的gevent+nodejs的web调用+爬虫分析+异步加载

  可以用flask,或者用gevent+nodejs。对于webconnector,

  equest

  可以使用curl这个库,或者是使用beautifulsoup,

  tcp协议实现了nio,udp协议基本上只支持fast类型;http的get方法在要上传数据时会造成很多限制,比如很多post的参数并不能获取。既然对方有浏览器、有前端开发工具,还是学习语言的基础来得实在。python的django、nodejs的browserify这种就不在此列。

  xml也是传递给后端,传递给前端的。而在服务器端我们一般只知道文件的后缀名,而不知道文件的内容,然后你要先查找到他支持什么样的格式,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线