专业知识:[附源码]Java计算机毕业设计SSM甘肃草地植物数字化标本库管理系统

　　专业知识:[附源码]Java计算机毕业设计SSM甘肃草地植物数字化标本库管理系统

　　项目运行

　　环境配置：

　　Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也可以）+ Eclispe（IntelliJ IDEA、Eclispe、MyEclispe、Sts都支持）。

　　项目技术：

　　SSM+mybatis+Maven+Vue等，B/S模式+Maven管理等

　　环境需求

　　1、运行环境：最好是java jdk 1.8，我们是在这个平台上运行的。其他版本在理论上也是可能的。

　　2、IDE环境：IDEA、Eclipse、Myeclipse均可使用。建议使用IDEA；

　　3.tomcat环境：Tomcat 7.x、8.x、9.x版本可用

　　4、硬件环境：1G以上内存的Windows 7/8/10；或 Mac 操作系统；

　　5、是否为Maven项目：否；检查 pom.xml 是否收录在源代码目录中；如果收录，则为maven项目，否则为非maven项目

　　6、数据库：MySql 5.7/8.0等版本可用；

　　全套帮助、指导、本源码分享、调试和部署（见文末）

　　可行性分析

　　系统开发前应进行系统可行性分析，目的是用最简单的方法解决最大的问题。一旦开发出满足用户需求的程序，就会带来很多好处。接下来，我们将从技术、运营、经济等方面来选择这个系统最终是否会被开发出来。

　　1 技术可行性

　　本系统开发选用Java技术和ssm框架，大大降低了使用windows编程的难度，降低了开发人员设计算法的难度。Visual Studio作为Java开发中必不可少的角色，以其友好的界面和强大的功能，给程序开发者带来了很多便利，再加上简单的环境和方便的移植，无疑是这个系统的最佳选择。因此，后台设计选择使用MySQL数据库主要用于信息的建立和维护。对于前端的开发要求，应具有功能齐全、操作方便等优点，而后端数据库的要求是能够建立和维护数据信息的统一性和完整性。

　　根据以上目标，本系统的硬件分析如下：

　　奔腾3处理器；

　　内存2G；

　　硬盘50G；

　　操作系统为Windows 10；

　　软件方面，安装了Visual Studio0和MySQL数据库开发工具。根据以上软硬件要求，获得本系统的技术是可行的。

　　经济可行性

　　

　　基于SSM框架的甘肃草原植物数字化标本数据库管理系统，系统软件开发只需一台普通电脑即可完成开发，成本极低。另外，作为毕业项目，开发成本基本可以忽略不计，使用该系统软件可以实现更加快速高效的甘肃草原植物数字化标本数据库管理系统，也可以实现人力资源和管理资源的管理。有效节约，甘肃草原植物数字化标本数据库管理系统在经济上是完全可行的。

　　运营可行性

　　如今，随着科技的飞速发展，计算机已经走进了人们的日常生活，人们的工作环境也没有以前那么苛刻了。员工必须去公司上班，有些工作也可以在家完成。这使得人们的工作效率得到了很大的提高。操作的种类也增加了。因此，管理的信息化、智能化是社会发展带来的必然趋势。各种智能软件层出不穷。不同的软件可以满足用户的不同需求，不仅提高了工作效率，还完成了一些客户特定的任务。需要。该系统不仅界面简洁明了，而且采用了可视化界面。用户可以修改、删除、仅通过鼠标和键盘对相关信息进行添加等操作。由于本系统的操作非常简单易上手，对于第一次使用该系统的人来说，只需一点时间即可上手。可见，该系统在运行中是可行的。

　　3.1.4 运营可行性

　　本系统是一个以java为开发语言的系统，B/S结构的选择决定了运行本系统只需要很少的资源，对硬件配置要求也不高。目前市面上只要浏览器能够正常运行，所有PC使用该系统都可以正常运行。

　　综上所述，该系统能够满足经济、技术、运行、运行等条件，本系统的开发具备可行性条件。

　　系统性能需求分析

　　分析系统性能，分析系统响应能力、界面简洁明了、存储容量、易学性和稳定性；

　　系统响应能力：几万人同时在线时，响应时间应该在两三秒之内。

　　界面简洁明了：系统界面要求简洁明了，操作简单，用户操作容易上手。

　　存储性能高：甘肃草原植物数字化标本数据库管理系统需要存储大量的信息，因此系统的存储容量非常高，所以数据库要非常强大，以保证信息可以储存安全稳定；

　　易学性：系统在操作中必须简单易用。复杂的操作不多，简单的学习即可操作系统。

　　稳定性：要求甘肃草原植物数字标本库管理系统运行稳定，界面清晰，字体清晰。

　　系统功能分析

　　考虑到甘肃草原植物数字标本馆管理系统在现实生活中的需要和对平台的认真分析，将系统权限分为管理员和用户两类参与用户。

　　(a) 管理员；管理员使用本系统涉及的功能主要有：主页、个人中心、用户管理、植物分类管理、植物标本管理、系统管理等功能。管理员用例图如图 3-1 所示。

　　图 3-1 管理员用例图

　　(b) 用户；进入系统可实现主页、植物标本、公告信息、个人中心等功能。用户用例图如图 3-2 所示。

　　图 3-2 用户用例图

　　4 系统流程分析

　　由于不同系统实际使用的用户角色不同，其业务分析也会变得不同。为方便讨论，将分析管理员和用户功能权限下的系统业务流程，如下图所示。：

　　3.4.1 用户管理流程

　　

　　图3-3 用户管理流程

　　3.4.2 个人中心管理流程

　　图 3-4 个人中心管理流程

　　3.4.3 登录流程

　　图 3-5 登录流程

　　4 系统设计 4.1 软件功能模块设计

　　系统整体功能如下图所示：

　　图4-1 系统整体功能模块图

　　4.2 数据库设计与实现

　　数据库在每个系统中都扮演着非常重要的角色，一个设计良好的数据库会增加系统的效率和系统各种逻辑功能的实现。因此，在数据库的设计中，一定要从系统的实际需要出发，才能使其更加完美地符合系统功能的实现。

　　4.2.1 概念模型设计

　　概念模型是对实际问题中出现的事物的描述。ER图是由实体及其关系组成的图。通过ER图，可以清楚地描述系统中涉及的实体之间的相互关系。

　　用户注册实体图如图4-2所示：

　　图4-2 用户注册实体图

　　植物标本管理实体图如图4-3所示：

　　图4-3 植物标本管理实体图

　　5.1 系统功能模块

　　在甘肃草原植物数字标本库管理系统中，您可以在系统首页查看首页、植物标本、公告信息、个人中心等，并进行详细操作；如图 5-1 所示。

　　解决方案:《Hadoop大数据原理与应用》第9章大数据迁移和采集工具.pptx

　　大数据有多种来源。在大数据时代背景下，如何从大数据中获取有用信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效地采集大数据，关键是要根据采集环境和数据类型选择合适的大数据采集方法和平台。下面介绍一些常用的大数据采集平台和工具。

　　1. 水槽

　　Flume 作为 Hadoop 的一个组件，是 Cloudera 专门开发的分布式日志采集系统。尤其是近年来，随着 Flume 的不断完善，用户在开发过程中的便利性有了很大的提升，Flume 现已成为 Apache Top 项目之一。

　　Flume提供了从Console（控制台）、RPC（Thrift-RPC）、Text（文件）、Tail（UNIX Tail）、Syslog、Exec（命令执行）等数据源采集数据的能力。

　　Flume 采用了多 Master 的方式。为了保证配置数据的一致性，Flume 引入了 ZooKeeper 来保存配置数据。ZooKeeper 本身保证了配置数据的一致性和高可用性。此外，ZooKeeper 可以在配置数据发生变化时通知 Flume Master 节点。Gossip 协议用于在 Flume Master 节点之间同步数据。

　　Flume对于特殊场景也有很好的自定义扩展能力，所以Flume适用于大部分日常数据采集的场景。因为 Flume 是用 JRuby 构建的，所以它依赖于 Java 运行时环境。Flume 被设计成一种分布式管道架构，可以看作是数据源和目的地之间的代理网络，以支持数据路由。

　　Flume 支持设置 Sink 的 Failover 和负载均衡，以保证在一个 Agent 故障时整个系统仍然可以正常采集数据。Flume中传输的内容被定义为一个事件，一个事件由Headers（包括元数据，即Meta Data）和Payload组成。

　　Flume 提供 SDK，可以支持用户定制开发。Flume 客户端负责将事件发送到事件源的 Flume 代理。客户端通常与生成数据源的应用程序位于同一进程空间中。常见的 Flume 客户端是 Avro、Log4J、Syslog 和 HTTP Post。

　　2.流利

　　Fluentd 是另一种开源数据采集架构，如图 1 所示。Fluentd 是用 C/Ruby 开发的，使用 JSON 文件来统一日志数据。通过丰富的插件，您可以采集各种系统或应用程序的日志，然后根据用户定义对日志进行分类。使用 Fluentd，跟踪日志文件、过滤它们并将它们转储到 MongoDB 等操作非常容易。Fluentd 可以将人们从繁琐的日志处理中彻底解放出来。

　　图 1 Fluentd 架构

　　Fluentd 具有多种特性：易于安装、占用空间小、半结构化数据记录、灵活的插件机制、可靠的缓冲和日志转发。Treasure Data 为本产品提供支持和维护。此外，使用 JSON 统一的数据/日志格式是它的另一个特点。与 Flume 相比，Fluentd 的配置相对简单。

　　Fluentd 的扩展性很强，客户可以自己定制（Ruby）Input/Buffer/Output。Fluentd 存在跨平台问题，不支持 Windows 平台。

　　Fluentd 的 Input/Buffer/Output 与 Flume 的 Source/Channel/Sink 非常相似。Fluentd 架构如图 2 所示。

　　图 2 Fluentd 架构

　　3.Logstash

　　Logstash 是著名的开源数据栈 ELK（ElasticSearch、Logstash、Kibana）中的 L。因为 Logstash 是用 JRuby 开发的，所以运行时依赖于 JVM。Logstash的部署架构如图3所示。当然，这只是一个部署选项。

　　图 3 Logstash 部署架构

　　一个典型的 Logstash 配置如下，包括 Input 和 Filter 的 Output 的设置。

　　输入 {

　　文件 {

　　类型 => “Apache 访问”

　　路径 =>“/var/log/Apache2/other_vhosts_access.log”

　　}

　　文件 {

　　类型=>“补丁错误”

　　

　　路径 =>“/var/log/Apache2/error.log”

　　}

　　}

　　筛选 {

　　摸索{

　　匹配 => {"消息"=>"%(COMBINEDApacheLOG)"}

　　}

　　日期 {

　　匹配 => {"时间戳"=>"dd/MMM/yyyy:HH:mm:ss Z"}

　　}

　　}

　　输出 {

　　标准输出 {}

　　雷迪斯 {

　　主机="192.168.1.289"

　　data_type => "列表"

　　键=>“Logstash”

　　}

　　}

　　几乎在大多数情况下，ELK 同时用作堆栈。在您的数据系统使用 ElasticSearch 的情况下，Logstash 是首选。

　　4.楚夸

　　Chukwa 是 Apache 旗下的另一个开源数据采集平台，知名度远不如其他平台。Chukwa 建立在 Hadoop 的 HDFS 和 MapReduce（用 Java 实现）之上，以提供可扩展性和可靠性。它提供了许多模块来支持 Hadoop 集群日志分析。Chukwa 还提供数据展示、分析和监控。该项目目前处于非活动状态。

　　Chukwa 满足以下需求：

　　(1) 灵活、动态、可控的数据源。

　　(2) 高性能、高扩展性的存储系统。

　　(3) 用于分析采集的*敏*感*词*数据的适当架构。

　　Chukwa 架构如图 4 所示。

　　图 4 Chukwa 架构

　　5. 抄写员

　　Scribe 是 Facebook 开发的数据（日志）采集系统。其官网多年未维护。Scribe 为日志的“分布式采集、统一处理”提供了可扩展和容错的解决方案。当中央存储系统的网络或机器出现故障时，Scribe 会将日志转储到本地或其他位置；当中央存储系统恢复时，Scribe 会将转储的日志重新传输到中央存储系统。Scribe 通常与 HADOOP 结合使用，将日志推送（push）到 HDFS，而 Hadoop 通过 MapReduce 作业进行定期处理。

　　

　　Scribe 架构如图 5 所示。

　　图 5 Scribe 架构

　　Scribe 架构比较简单，主要包括三个部分，即 Scribe 代理、Scribe 和存储系统。

　　6. Splunk

　　在商用大数据平台产品中，Splunk提供完整的数据采集、数据存储、数据分析处理、数据呈现能力。Splunk 是一个分布式机器数据平台，具有三个主要角色。Splunk 架构如图 6 所示。

　　图 6 Splunk 架构

　　搜索：负责数据的搜索和处理，在搜索过程中提供信息提取功能。

　　Indexer：负责数据的存储和索引。

　　Forwarder：负责数据的采集、清洗、变形、发送到Indexer。

　　Splunk 内置了对 Syslog、TCP/UDP 和 Spooling 的支持。同时，用户可以通过开发 Input 和 Modular Input 来获取特定的数据。Splunk提供的软件仓库中有很多成熟的数据采集应用，比如AWS、数据库（DBConnect）等，可以很方便的从云端或者数据库中获取数据，输入到Splunk的数据平台进行分析.

　　Search Head和Indexer都支持Cluster配置，即高可用和高扩展，但是Splunk还没有Forwarder的Cluster功能。也就是说，如果一台Forwarder机器出现故障，数据采集将中断，正在运行的数据采集任务无法故障转移到其他Forwarder。

　　7.刮擦

　　Python 的爬虫架构称为 Scrapy。Scrapy 是一个使用 Python 语言开发的快速、高级的屏幕抓取和网页抓取框架，用于抓取网站并从页面中提取结构化数据。Scrapy 用途广泛，可用于数据挖掘、监控和自动化测试。

　　Scrapy 的吸引力在于它是一种任何人都可以根据需要轻松修改的架构。它还为各种类型的爬虫提供了基类，例如BaseSpider、Sitemap爬虫等。最新版本提供了对Web 2.0爬虫的支持。

　　Scrapy的工作原理如图7所示。

　　图 7 Scrapy 运行原理

　　Scrapy 的整个数据处理流程由 Scrapy 引擎控制。Scrapy运行过程如下：

　　(1) Scrapy引擎打开域名时，爬虫对域名进行处理，让爬虫获取第一个爬取的URL。

　　(2) Scrapy引擎首先从爬虫中获取第一个需要爬取的URL，然后在调度中将其作为请求进行调度。

　　(3) Scrapy引擎从调度器中获取要爬取的下一页。

　　(4)调度器将下一次抓取的URL返回给引擎，引擎通过下载中间件将其发送给下载器。

　　(5)下载器下载网页后，通过下载器中间件将响应内容发送给Scrapy引擎。

　　(6) Scrapy引擎接收到下载器的响应，通过爬虫中间件发送给爬虫进行处理。

　　(7)爬虫处理响应并返回爬取的物品，然后向Scrapy引擎发送新的请求。

　　(8) Scrapy引擎将抓取到的项目放入项目流水线，向调度器发送请求。

　　(9)系统重复步骤(2)之后的操作，直到调度器中没有请求，然后断开Scrapy引擎与域的连接。