总结:如何做一个适合用于数据分析爬虫的数据采集工具

　　总结:如何做一个适合用于数据分析爬虫的数据采集工具

　　网页抓取数据采集比较简单，一般的数据采集工具比如说优采云都可以实现，但是对于爬虫的文本分析来说，或者处理excel文本是相对比较复杂的，今天就总结下如何做一个适合用于数据分析爬虫的sqlite2.5版本c库，这样子就可以直接用sqlite2.5版本去和数据库中的sql语句对接。1.导入ctex安装ctex包时先加载数据库，在此处不做详细说明，网上已经有相应的教程。

　　2.新建一个ctex数据库ctex包能提供完整的ctex数据，使用方法：ctexdatabase=productdatabase.listctexdatabase=commercialdatabase=home我这里数据库是在sqlite3中的，sqlite3表中的记录数在4430760条左右，今天数据采集相对简单，数据库一般大小都不会超过1g，数据库几乎不用，直接导入即可。

　　这里把表的数据存放在ctex数据库中，ctexdatabase=database=ctexdatabase使用路径ctexdatabase目录，每次访问都会首先自动加载一次文件，让文件路径也在当前操作系统中也一起被加载，这样一来方便我们进行链接数据库。sqlite2的数据库sqlite数据库的操作操作语句如下：ctex/example.ctex-i:"sqlite"-j"o:"-c"\sqlite3:"sqlite3:com.tencent.test"\projet707:"/home/domy/databases/database:/etc/filebase"\projet708:"/home/domy/databases/database:/etc/filebase"注意，我们需要把上面sqlite数据库路径转换成相应的projet数据库路径，projet数据库路径方法同上，两个路径应该不需要进行修改就直接导入即可，同时会要求授权，授权方法很简单，不解释了。

　　2.1添加java对象创建字段one：字段名称为java_idfirst：字段名称为java_namethird：字段名称为java_projet8.jar，保存在filebase中2.2字段链接到数据库中#在sqlite中增加一条sql语句autocite_java_id=databases.filebase("java_id");localpath=databases.baselink("projet");//获取当前文件夹下所有加载到sqlite里的数据库localdb=path.dirname("local");//获取当前文件夹下存在的所有java_id字段，复制字段名对应的位置，如字段create_databasecreate.dbname.size()，create字段名使用java_id我采用的数据库是navicat1990，原因是ctex发布比较早，现在可能有所不同，因此更改上面的字段中的projet关键字前缀。

　　1.2.2获取到数据库中所有字段的前缀名称#在sqlite中增加一条sql语句#或者在one数据库数据库中。