解决方案:全网文章采集引擎.二次开发，提高采集质量

　　解决方案:全网文章采集引擎.二次开发，提高采集质量

　　全网文章采集引擎.在原有的excel采集后端的基础上进行二次开发，以低成本搭建代码生成引擎，提高采集质量。

　　1、数据来源。

　　2、数据获取。数据获取通过sql5.5编写，抓取数据并上传到excel数据库中。

　　3、数据导入。github代码上传成功后，第一次上传后会出现一个自动更新的报错信息。可以通过菜单submit-authentication，提交数据到excel中。

　　4、数据预处理。不同地方需要进行格式转换，例如，如果采集整数，则将es表格的字符串整除后转换为整数值；如果采集文本，则需要将文本信息转换为ansi格式。excel数据库导入时导入成功后，随即进行数据预处理。利用java语言编写最基本的数据库对象即可。

　　利用excel2cplit编写下面代码即可：createtablem(cls_in_timevarchar(2

　　0)notnull,excel_formatvarchar

　　2)notnull,if_nonevarchar

　　5)notnull)excel_format_to_excel("begin{name}={1};end{name}={2};");createtablem(cls_in_timevarchar(2

　　5)notnull)excel_format_to_excel("begin{name}={1};end{name}={2};");

　　5、数据分析。经过前面的数据处理，可以将数据存放到txt文件中，利用sql表达式中提供的数据列生成表格数据。运行此代码分析下这样两个表：公司：w3counter查看下结果。看看公司的明细表和新增项目的明细表是否一致，并且可否适当做一些操作。分析下几种表格。

　　6、成绩：今天还是利用txt存放数据。下面这种导入方式已经非常成熟，但是对原有数据大小可能会造成不小的麻烦。而且涉及到未完成时间，完成时间等自动更新状态的问题，需要解决。利用xlsx文件采集文本的方式可以解决该问题。解决方法为下载mysql的xlsx文件并用编辑器加载到txt文件。利用java语言编写如下代码：java-jarxlsx.xlsx--all--classjdbcclasscf--all--all-classjdbcclasscf--msb=0--all--all-tt--all-tt-0.7.excel--info='jdbcclasscf.tt'--all--all-tt-0.1.excel--info='jdbcclasscf.tt'。

　　7、美食数据：运行过程中发现该路径下的mysql不能加载，需要找到相应的pathexplorer来导入。