(网站编程)怎样抓取后的数据存储如何？

　　(网站编程)怎样抓取后的数据存储如何？

　　怎样抓取网页数据？我通常用php(web开发)，asp(网站编程)这两个框架来实现抓取功能。现在有好多类似于『小觅』这样的网页抓取器，抓取能力是很强大的，操作也灵活，可以说只要你有兴趣都可以抓取一些网页数据。抓取后的数据存储如何？如果只是需要一个网页的图片数据，建议找个开源网页浏览器模拟器，然后把图片地址和图片名写入到web服务器。

　　如果你需要将抓取的网页数据上传到网站上，存储就要好好考虑一下了。如果没有数据，可以不存储数据，直接对你所抓取网页中图片进行批量裁剪就可以。如果你有数据，可以做好存储规划，规定存储数据的不同数据库类型。如果你有多个网页抓取，多条同类图片也可以按照二维表进行存储。『小觅』抓取器里有哪些功能？『小觅』抓取器内置了一个抓取器脚本包，通过编写脚本就可以轻松抓取了。

　　当然，你也可以单独去抓取一个网页的一个图片。脚本脚本功能？#!/usr/bin/envpython#-*-coding:utf-8-*-importreimporttime#获取网页url，并添加到time.timeout函数中，即读取到其完整的时间fromurllib.requestimporturlopenimportjsonimportrequests#获取网页的html数据，并保存为txt格式数据frombs4importbeautifulsoupimportxlwtfromurllib.requestimporturlopenfromurllib.requestimportrequesturl=';referred_url='+str(json.loads(url))#解析网页内容filename='{}.txt'txt=filename+'-alert.txt'#处理txt文件读取等字符串数据并存储images=xlwt.parse(open(txt,'wb'),'r')images.write(json.loads(images))#存储图片jpg=json.loads(images)#获取一个网页，以及所抓取数据的地址foriinjpgs:content=str(i).split('\t')[-1][0]imgurl=images[jpgurl:-1]+str(i).split('/')[0]fortmpincontent:tmp=txt[tmp:]#重命名单元格名称fornameintmp:#图片下载的地址imgurl=filename+name#获取图片描述plt.imshow(tmp)plt.show()#显示网页代码print(txt.strip('\t'))f=open('../spider/'+str(json.loads(r'data.jpg'))+'_'+str(r'end.jpg')+'.jpg','w')#选择需要抓取的网页数据forurlinf:txt.write(url)#解析获取到的网页数据forxinxlwt.wor。