采集自动组合(数据采集系统中自动入库设计工具的研究与实现(图))

　　采集自动组合(数据采集系统中自动入库设计工具的研究与实现(图))

　　数据采集系统中自动存储设计工具的研究与实现 徐鹏 孙元 清华大学计算机系 E-Mail: xp{sBORy)@kcg. CS。协会 ingIlu&edu。cn ■ Stack：基于web的数据采集查杀系统，处理的数据量比较大；同时，采集的数据格式经常需要改变。因此，使用传统的音乐方式为每个版本的冰童设计自己的教学数据存储程序往往成本高昂，开发周期长。园区需要为系统提供可视化的开发工具。允许用户自定义冰通中的数据模型与数据库中救援城市的对应关系，系统根据用户的设置自动完成存储操作。本文将针对这一需求提出相应的解决方案。关磊字：JDBc，Drums 字典，结合基于牛奶b采集的数据中的对应关系和在线发布系统，定期报告数据的自动存储系统主要用于接收来自的最终定期提交用户在应用服务器上报数据后，用于将上市公司数据提取并写入信息中心数据库的操作。自动入库系统可以配合定期报表数据采集系统使用，即用户报表数据通过网络写入数据库的同时，对外发布使用的数据信息基于证券交易所信息中心数据库的信息模型，由定期报告数据自动存储系统写入信息中心数据库。同时进行仓储作业。根据信息中心的需要，可以对部分数据进行统计处理，生成统计信息写入数据库；这样可以减少信息中心工作人员的工作量。提高工作效率。可以对部分数据进行统计处理，生成统计信息，写入数据库；这样可以减少信息中心工作人员的工作量。提高工作效率。可以对部分数据进行统计处理，生成统计信息，写入数据库；这样可以减少信息中心工作人员的工作量。提高工作效率。

　　一。W基于歌曲的数据采集和在线发布系统中的JDBC 本系统完全用Java语言编写，因此选择JDBC访问数据库。这既充分利用了Java语言的特点，又保证了其他部分与数据库的相对独立性。图书馆。诸如数据存储系统之类的应用程序正在服务器上运行。它与客户端没有直接关系，它直接通过J Ming c 访问数据库。无需通过其他级别。当AppIet之类的浏览器助手想要查询和修改数据库时。它是通过服务器上的 J8va 应用程序完成的。无论是本系统中基于浏览器的数据采集系统。在基于浏览器的数据查询系统中，Applet 不用于直接访问数据库，因为 Applet 受安全限制只能与下载的服务器建立连接。因此，只能访问服务器应用程序上的数据库。本系统的数据库可能与 scapular w 服务器不在同一台计算机上。使用Java作为Applet的中间层来访问数据库也可以提高访问效率，比如始终保持与数据库的连接，而不是每次访问都重新建立连接。您还可以组织和过滤 Applet 发送的请求。再次访问数据库。TcP 协议用于 Applet 和中间层的 Application 之间的通信。本系统使用JDBC访问数据库的一般程序流程如下：1) 加载数据库的JDBC驱动；2) 与数据库建立连接： 3) 创建 Statement 对象；4)中对Statement对象执行SQL语句，返回Resultset对象： 5) 处理ResultSet对象，得到查询结果；6) 关闭与数据库的连接。

　　JavaApplication作为中间层的过程如下： 1) 加载数据库的JDBC驱动： 2) 与数据库建立连接；3) *敏*感*词*某个端口，等待Applet连接；4) 与Applet 建立连接后。接收来自 ADplet 的请求；5) 组织过滤请求，形成SQL语句；6) 创建 Statement 对象；7) 对 Statement 对象执行 SQL 语句并返回 ResultSet 对象；8)处理ResalltSet对象，得到查询结果{9)将查询结果返回给Applet；10)断开与^pDlet的连接，返回4)重新收听。实际上，接收Applet请求、访问数据库和返回结果都是由一个线程完成的。主线程继续返回*敏*感*词*状态。这样的应用程序可以同时为多个 ApDlets 服务。二。自动数据存储工具的设计。图ll 数据库存储流程 在上交所年报系统中，数据存储操作的系统设置包括源数据库设置、数据存储操作设置、源数据与数据库对应设置。Tan数据设置用于连接给定的数据库，获取数据库中表结构的相关信息进行系统设置。需要由系统管理员填写或选择的相关数据是用于连接数据库的驱动程序、数据池名称、用户名和密码。系统会调用JDBC接口访问数据库。

　　数据库对应关系设置用于设置数据字典与数据库中表结构存储的对应关系，为系统的数据存储功能提供了极大的灵活性。提供给用户的界面上的表项和数据库中的条目之间建立了对应关系。并允许数据库管理员针对不同的报表类型进行修改，以保证系统的可复用性。具体设计在后面介绍。数据库对应关系设计完成后，即可将数据存入数据库中。数据存储操作也完全按照管理员设置的对应表进行。用于数据存储过程。我们可以简单地用图ll来表示它。2. 1 数据字典和数据库存储的对应设计思路在数据采集系统中，用户填写界面上有很多表项，不同的表收录子表和自定义项，所以有不同的入库操作。同一个界面的表项中不同数据字段的存储操作是不一样的。对于这个不一致的数据单元，我们首先根据需要确定了表结构，将数据库中的一些接口表进行拆分，以适应不同的操作。比如界面上的募款表，分为募款总额表和数据库中募款资金使用明细表。关联交易表和投资收益表也是如此。所以，接口表中的字段与数据库中的字段不完全对应。同时。考虑到系统的用户界面因*敏*感*词*不同类型的报告（如年报和中期报告）而异，并考虑到相关财务计算指标的变化，系统需要很大的灵活性。

　　对于数据库。首先，条目多，数据库中存储的数据量巨大。而且这些数据的重要性比较高，要保证数据库中数据的基本稳定性。因此，在上交所年报系统的数据存储操作中，我们提供了一个功能模块，用于设置界面表项中的字段与数据库表结构中的字段之间的对应关系。该模块将用户界面的数据字段映射到数据库中字段的计算关系。这降低了两者之间的耦合程度。使我们的系统实施更加灵活方便。更改用户界面条目时。或者在更改数据库中的表或字段时，对方不需要做大的改动，只需要使用对应关系设置工具修改入库规则即可。对于界面上表项中的每个域，我们在系统中用16位进行编码，以及每个域的代码和具体的域名。存储在数据字典（SCDicti.nary软件包）中，直接调用程序中的数据代码即可获取数据字段。这也体现了系统设计的灵活性。修改界面上的域名时，只需要修改数据字典中对应的域名即可，程序中代码的调用保持不变。对于数据库中的每个域，基本上都是按照不同的接口表来保存的。例如，我们前面介绍的总表和明细表。对于不同的数据库表，赖瑞有三个共同的主键，如下： lh吖『∞fn口awIdl』v叫ch stare 1(30)NOTNULLI nepo^Ye state『varch called(30)@ >NoTNULLl fr∞。

　　第一位表示表代码（格式为表名域名），第二位表示表中的字段代码）¨==≤:=2·5～6·7Ⅱ 图2接口域和数据库域一-对多关系。另外，数据库中字段的值可以是接口字段的组合，比如接口上字段的代码。数据库中的数据字段（双参数。第一个数字代表表代码（格式为表名字段名）第二个数字代表表中域的代码） 3.7+3.16——————图3l中界面域对应关系对象组合的计算方法。包括常用的整型和浮点型数据，如类型、字符串类型，以及它们的组合操作。2. 2 域对应关系及其设置在数据库中存储的数据表中。除了用户进入数据库的年报基础数据表外，还有一个域对应表calTable。

　　在复选框中，首先选择数据库中的一个表，窗口的左列将显示数据库中的所有列名。同时右侧会显示已经设置好的计算方式（即与界面字段的对应关系）。当用户设置或修改域时，只需点击右侧的小按钮，弹出域选择对话框。用户选择界面域或它们的组合后，新设置的对应关系会在 右侧栏中显示。用户点击“申请”，确认此表中信函的对应关系，重新入库。然后用户可以对下一个表进行操作。3.数据存储操作data采集系统加载的数据保存在SCReportData对象中，

　　以及从CalTable获得的每个表中每个字段的计算方法。为数据库中的基础数据表（即用户需要进入数据库的数据表）。分为三种情况： ·表中每个公司的记录是唯一的，不依赖于报表类型。唯一表：主要是companyTable，changes和changes。所以每次都入库。对标记执行更新操作。· 基本表格：这些表格中的数据对于每个年度报告或中期报告都是唯一的。但是，不同类型的报告将对应不同的记录。对于这些表，每次将报表放入数据库时​​都会执行一次写入操作。● 子表或明细表：这些表中的数据对于每个年度报告或中期报告可以有多条记录，因此对它们执行批量写入操作。针对这三种情况，系统提供了相应的数据库操作方法来保证数据的完整性。我们可以用K图5来说明仓储作业的流程。Ⅱ 图 5l 数据库存储操作流程