总结归纳:一种灵活的网络学习行为数据采集与分析系统论文

　　总结归纳:一种灵活的网络学习行为数据采集与分析系统论文

　　一种灵活的网络学习行为数据采集及分析系统论文

　　摘要：网络学习日益兴起。在多元化教学过程中，充分利用网络上日益丰富的学习资源，满足不同层次学生的需求。分析学习者在网络学习中的各种学习行为，找出学习者群体和个体的特征，帮助教育者推进网络教与学建设，是当前亟待解决的问题。结合当前主流学习行为数据采集和分析方法的优缺点，提出了一种基于数据流采集的网络学习行为数据采集及分析方案，并介绍了数据采集 详细。采集 和数据分析方法，并讨论了实现该方案的软件系统设计。该软件系统具有很强的灵活性和实用性，可以帮助学习者和教育者进行更有效的在线教学和学习。

　　关键词：网络学习；学习行为数据采集; 学习行为分析；数据流采集；文本挖掘

　　1 简介

　　除了传统的课堂教学和实践培训，现代教育教学越来越多地采用网络学习方式。在线学习可以分为两种，一种是集中式在线学习，如远程在线教育、企事业单位内部网络的业务培训等；等待独立学习。无论采用哪种在线学习方式，在多元化的教与学过程中，都能充分利用互联网上日益丰富的学习资源，满足不同层次学生的需求。

　　分析学习者在网络学习中的各种学习行为，找出学习者的学习规律，可以帮助教育者不断修正当前不成熟的网络学与教，促进网络教育的建设。

　　要分析在线学习者的学习行为，首先需要采集学生在线学习过程中的学习行为信息数据，然后对这些数据进行整合、分类和分析。目前，基于计算机和网络平台的在线学习行为数据采集和分析的常用方法有两种，一种是基于Web服务（Web Services）[1][2]的方法，另一种是基于关于 Web 日志挖掘的方法（Web Usage Mining）[3][4]。目前广泛使用的是基于Web Services的方法，但是这种方法也有明显的不足，主要是：只能得到在网站学习的注册学习者的学习行为数据，以及他们的学习分析行为有局限性；这样的系统开发必须与网站同时进行 程序设计和数据库设计为了实现无缝集成，特异性强，灵活性差。Web Usage Mining 的缺点是 Web 日志和客户端数据不易获取。即使获得，也与Web安全的相关原则相冲突，而且这些数据是学习者在通过Web服务器时留下的，也有局限性。.

　　通过实际对比分析研究发现，如果能将以上两者结合起来，将是一个更实用的解决方案。该方案的基本思路是：在服务器或网关上使用netmate抓取数据流，然后处理输出为文本，再使用文本挖掘的成熟算法进行处理，得到学习特征、偏好等学习网络学习者的规则。教育工作者进行教学分析，有效指导在线学习和教学的建设。

　　2.学习行为数据采集

　　学习行为数据的采集是学习行为分析的前提，也是整个程序的基础。学生在线学习行为数据采集是基于开源软件网友自动获取的数据流。这样就很容易获取流经节点服务器或网关的实时数据流，然后返回到netmate提供的接口。生成的文本已准备好进行后续文本处理。

　　2.1 数据流采集

　　数据流获取是网络学习行为数据的第一步采集。这种采集是实时的并且基于随机样本。由于样本量可以很大，即使发生丢包也可以接近实际情况。由于通过节点服务器或网关的数据流既有流入也有流出，因此不仅可以获取学习者在站点或内网的集中学习行为数据，还可以通过服务器获取学习者上网的情况或网关。用于网络发散学习的行为数据。可以看出，这种基于数据流的网络学习行为data采集可以满足上述两种主要的网络学习方法。

　　首先在节点服务器或网关电脑上安装netmate及配套库（libpcap、readline），然后根据数据采集的要求在配置文件（netmate.conf.xml）中进行配置，主要是根据自己制定规则到要求（规则）。在网友的工作过程中，按照既定的规则，将获取到的数据流以指定的形式输出。

　　由于netmate部署的位置可以根据需要改变，获取的文本可以通过传输工具传输到指定的目的主机，因此具有很高的灵活性。在集中在线学习中，如果获取点在远程教育网站上，则可以获取在网站内学习的所有学习者的学习信息。如果采集点在校园网的web服务器上，则可以获得学校校园网学习资源的利用率；在发散网络学习中，如果采集点在校园网的网络服务器上，则可以获得全校学生在互联网上的学习情况。在部门的网关服务器上，

　　3. 学习行为的文本挖掘

　　文本挖掘，也称为文本数据挖掘，是指从文本中获取高质量的、以前未知的和可理解的信息的过程。通过节点服务器获取数据文本后，可以进行文本分类，找出网络学习行为的特征和一些规律。

　　3.1 文本预处理

　　在文本分类之前，必须对文本文档进行预处理，并将信息存储在比文本数据更适合处理的数据结构中。对于英语单词来说，动词的不同时态一般是通过在动词后面加后缀（ing 或 ed）来表达的，单词的基本意思仍然是原来的形式。这时候就需要恢复词根，给一个词加上后缀。简化为它们的基本形式。对中文文本的理解在于正确的分句。由于中文单词之间没有空格，因此在进行中文文本挖掘之前，需要对文本进行分词，将汉字序列划分为有意义的词。

　　预处理结束时会得到一个非常巨大的向量空间，此时需要进行特征降维处理。由于不同标准对相同学习行为的定义不是很明确，所以先使用卡方统计（CHI）算法进行特征选择，然后再使用聚类方法进行特征提取。

　　3.2 文本分类

　　在特征降维之后，应用分类器对文本进行分类。目前的分类器大致可以分为两类：基于统计的分类器和基于语义的分类器。在基于统计的方法中，比较成熟的有中心法、朴素贝叶斯和支持向量机。有基于语义的决策树等，通过比较算法实现的难度和算法所能达到的精度，本案例采用基于统计的分类器，通过支持向量机算法实现。

　　4.采集及分析系统设计

　　通过前面的描述，对采集的案例和分析系统进行了详细的分析。

　　系统的软件设计结合了上述算法和工具，以及自己开发的一些软件模块，从而形成了一个比较完整的采集和分析系统。软件结构如图1所示。系统采用客户端/服务器模式，数据流采集传输模块作为客户端模块，部署在采集点计算机上，其他模块用作服务器端模块，部署在主机上进行文本处理和分析。

　　4.1 数据流采集传输模块

　　数据流采集和传输负责广泛的采集网络学习行为数据，然后将数据传输到指定主机。如上所述，数据流是通过netmate获取的。配置为文本输出时，会得到需要的数据流文本。考虑到现在的网络基本都是高速的，在获取数据流的过程中对服务器的需求已经很高了。因此，这些文本数据被传输到远程主机的学习行为样本数据库中，然后进行离线处理和分析工作。. 远程传输部分采用多线程TCP socket实现。recConfig 也是使用多线程 TCP 套接字实现的，用于从远程主机上的 Configer 接收参数，

　　4.2 学习行为样本库

　　学习行为样本库存储学习行为数据样本从各个采集点获取，以文本文件的形式存储。示例库中的文本只是根据其采集 时间或指定来源检索。4.3 文本分析模块 文本分析模块负责分析学习行为样本库中的文本，包括文本预处理（Preproceed）、文本分类（Classify））、输出（Export）和模式调整（RecModify）四个部分。PreProceed 和 Classify 的设计如上所述。导出负责将分类后的文本数据输出成Weka的数据格式，或者直接将各个分类的统计结果输出到屏幕上。

　　4.4 视觉展示模块

　　可视化展示模块主要利用Weka工具提供的可视化功能来展示文本分析的结果，或者进行进一步的关联规则分析并可视化输出。

　　4.5 运行控制模块

　　运行控制模块主要负责在系统运行过程中调整数据采集和文本分析两个模块的运行参数，使系统灵活处理需求变化。其中，Configer调整了netmate配置文件和远程传输地址，专为多线程TCP服务器socket设计；Modier 调整了文本预处理和文本分类的模式。

　　结束语

　　本文提出了一种较为灵活的网络学习行为数据采集及分析系统，采用开源软件工具和成熟算法，并在此基础上进行软件设计，从而实现网络学习行为数据采集及分析。的学习行为。远程传输模块的设计极大地方便了学习行为分析的本地化，并且在每个阶段都设计了相应的反馈和调整模块，使系统在运行过程中适应特定的环境。该系统仍处于试验阶段，下一步将不断完善和完善。除了分类算法的改进，结果的可视化也有待提高。

　　参考：

　　[1] 卡琳·安娜·胡梅尔，赫尔穆特·赫拉瓦茨随时。使用基于 Web 的平台进行大学讲座的随处学习行为。[EB/OLD., 2006-3-1]

　　[2] 吕丽，张毅. 基于Web的学习行为研究现状采集[J]. 开放教育研究，2009(15)

　　[3] Chien-Sing Lee and YashwanL Prasud Singly.Student modeling using Principal component analysis of SOM clusters.Proceedings of the IEEE International Conference on Advanced Learning Technologies,2004

　　[4] 李梦雄．基于Web Mining的远程教学质量跟踪系统设计[J]．河南科技大学学报, 2007(28)

　　[5] 黄克斌，汪峰，王慧霞。智能网络学习行为分析系统的设计与实现[J]. 中国教育信息，2008（3）

　　【一种灵活的网络学习行为数据采集及分析系统论文】相关文章：

　　教育消费心理行为分析 01-19

　　《简单数据分析》草案说 10-09

　　系统基本特性分析，讲义11-02

　　“法律是一种特殊的行为准则”草案说 11-12

　　我最佩服的行为之一 小学作文11-15

　　学生素质评价体系系统分析12-06

　　中职学生学习心理障碍分析与对策12-05

　　网络学习教学反思08-22

　　《错误也是一种财富》论文12-05

　　盲童心智行为问题选修课试卷分析04-26

　　技巧:长尾关键词挖掘工具有哪些，关键词挖掘查询工具介绍

　　如今，越来越多的企业意识到网络营销对企业的重要性，新时代的网络营销本质上就是以更低的成本获取用户。SEO搜索引擎优化是以超低成本获得源源不断的搜索流量的最有效方法。

　　做好SEO的前提是你的网站能满足用户的需求。只有充分了解客户的搜索习惯，做出合理的关键词布局和优化关键词网站搜索结果才能通过将用户想看的内容呈现在前面来吸引更多的人访问的用户。

　　SEO优化的第一步是确定合适的关键词。如何确定合适的 关键词？SEOer需要对大量的关键词进行分析研究，确定用户的搜索习惯，确保目标关键词被搜索到。

　　“市面上的关键词矿机很多，但是我对自己用的不是特别满意，不是手续费太高，就是挖出来的字太老了与我自己的话高度重叠。” 一个新的SEOer，小王说。

　　一次偶然的机会，进了当地SEO行业的微信群，问大佬们关键词数量少，关键词不准确的问题怎么解决。一位资深推荐的Star Mine关键词图书馆管理工具。我赶紧用手机注册了一个账号，真后悔没有早点发现！

　　【星矿关键词库管理工具】，顾名思义，就是对关键词进行统一管理和维护的工具。Star Mine关键词库管理工具可以创建属于自己的个人词汇，通过同时挖掘产品词、品牌词、竞争对手词、行业上下游词等不同类型的关键词词。 关键词 类型的叙词表。

　　作为一款方便快捷的挖词工具，星矿关键词库管理工具最大的亮点就是它的智能化，可以实现关键词的一键自动挖掘，让关键词的源源不断的关键词不断扩充词库，轻松拥有百万级词库！

　　星矿关键词库管理：可创建多个词库，每个词库没有挖词上限

　　进入星矿词库概览，你会发现星矿提供了强大的【标签】功能，不仅可以根据词性自动给所有关键词加标签，还可以手动加标签，让关键词 管理更方便快捷。一个标签可以标记多个关键词，一个关键词可以标记多个标签。做过 SEO 的人都知道，这意味着 关键词 类别管理的高度灵活性。

　　另一种与同类不同的功能。支持在词库中定期查询关键词，快速定位到需要的关键词，实现无*********无限导出，还可以自定义导出数量和导出字段。同时独有的小语种翻译功能，完全可以满足外贸SEOer的需求，一次挖词，终身重用，不用太担心！

　　同时，批量挖词、自动更新、黑白名单机制等多项贴心功能，充分满足SEOer的需求。作为SEO行业的我们，有必要体验一下星矿强大的挖词和词管理功能！