从网页抓取数据(你不想用服务器和数据库?推荐用python和reactjs!)
优采云 发布时间: 2022-01-29 04:03从网页抓取数据(你不想用服务器和数据库?推荐用python和reactjs!)
从网页抓取数据的话是可以用php+mysql库来实现的,
想做的话建议买一个nginx
我做javaapi,在简单做一下的前提下,能不用网页做,就不用,能使用图片,就不上传。目前主要是php+nginxweb服务器+项目lua小文件的sync。
php老哥教教我怎么用网页做数据抓取?
看看李智慧的thinkphp框架-网络爬虫
大的web服务要用很多php组件,看php自己官方给的例子吧,感觉都需要php扩展。比如登录,你要用get,怎么进去,
建议选一个好框架,先了解整个项目的数据流,把不想爬的网页都封死,爬下来后再封死一些页面,根据后台接口连起来,
很简单,用oauth+redis实现就是了。
百度爬虫你可以试一下。
你不想用服务器和数据库?推荐用python和reactjs!
1,有人说用scrapy,easyscrapyscrapy是世界级的爬虫框架,运行很快,而且相当容易上手。2,还有pyopengraw。基于python,由python自己在网上开发的一个应用程序,而且用python编写。
python2写的话,推荐用lxml,和openstreetmap的webapi类似,github上可以找到很多实例
都用php开发了,