抓取动态网页信息的时候,可以使用ajax技术来进行
优采云 发布时间: 2022-05-19 07:06抓取动态网页信息的时候,可以使用ajax技术来进行
抓取动态网页信息的时候,可以使用ajax技术来进行,例如百度百科等,不过我在豆瓣读书时,遇到的字幕是一个词一个词发生变化的,为了提高效率,可以看看amazonappstore什么时候会有很多新应用。或者可以看看淘宝天猫,这个可以看一天内所有购买过的商品。
我每天都是抓取的动态网页的信息。抓取回来之后,挑自己满意的发布到网上,然后平台会将数据存储到阿里云、腾讯云等等地方,
百度知道。
明朝那些事儿里面有个问题是ajax和python之间的选择。
在登录网站的时候采用post请求发送cookie信息,当有新用户进入时发送json请求请求新的用户账号和密码,发送给对方服务器。对方服务器验证后回复信息,对方服务器验证成功。然后在你的域名里面做个服务器pageup或者pagedown服务器来做对方访问。
可以关注一下growthmaster啊,growthmaster内置了一个一键发布到各大xx社区的脚本,完全使用ruby/java等编程语言开发,基本的爬虫知识如post,get就不说了,基本用了mvc都能写出来,这东西的强大之处在于可以搜索到几乎各个网站对于你需要的新功能的反馈,对于小众网站、独立站点而言,还是很有价值的。
这些网站一般都有不少中文页面,可以发布到上面的脚本中添加翻译功能,这样一个新功能,就算是英文渣渣也能随时搜到对应的中文说明了。因为是growthmaster内置的脚本,功能很简单,即使有人指导,英文也不好的人也可以很方便的写出来,很有价值。