自动抓取网页数据(自动抓取网页数据导入到appicon上的服务器响应问题)
优采云 发布时间: 2022-04-14 07:02自动抓取网页数据(自动抓取网页数据导入到appicon上的服务器响应问题)
自动抓取网页数据,然后导入到appicon上,有点像chrome的翻页效果,
页面要做到实时抓取,而且可以翻页,时效性要求又高,需要对页面解析的高精度。换言之就是要对页面用足够高的程度去识别内容,比如把查询的问号和空格标识出来,
跨域
服务器响应太慢
目前快了应该也不稳定吧
想解决的是在浏览器端随时抓取某一特定页面中包含的所有元素,并且更重要的是每页实时更新。
登录分析就是最大的难点啊!
服务器负载问题很关键。
服务器响应问题。
请翻墙
使用selenium
flash,flash。
nodejs,python,nodejs,python,nodejs,nodejs。