网站内容采集系统(新闻网站来源较多,网站改版较为基于模板的正文提取技术)

　　网站内容采集系统(新闻网站来源较多,网站改版较为基于模板的正文提取技术)

　　【摘要】 随着互联网的日益繁荣，互联网上的信息资源越来越多。虽然方便了人们获取知识，但也带来了信息过多、噪声信息较多的问题，影响了用户对有效信息的搜索。网络新闻作为一种主流的互联网信息源，比其他信息源具有更大的研究价值。对互联网新闻进行准确高效的采集分类是非常必要的。意义。基于网页内容的新闻分类可以充分考虑新闻内容的语义，避免因网站对新闻的错误分类或未分类而导致的采集错误结果，具有更好的分类效果。论文对网页正文采集技术进行了深入研究，结合新闻网站的特点，制定了更有效的采集策略和更新策略，确保新闻采集 @采集 的效率。由于网站新闻来源众多，网站修改频繁，基于模板的文本提取技术无法保证提取的准确性。一种基于文本分布的通用文本提取算法，通过实验确定算法的最优值，降低了人工编写规则的时间成本。对于文本分类，本文研究分析了文本分类的整体过程，并选择Labeled LDA进行文本特征表示。与传统的向量空间模型相比，减少了特征维度，避免了语义信息的丢失。LDA 模型扩展为具有监督分类模型。通过文本分类方法的比较，选择支持向量机作为文本特征的分类器。本文选取搜狗中文实验室新闻语料库，使用JGibbLabeledLDA和Scikit-learn实现LLDA-SVM算法。通过将分类结果与其他方法进行比较，验证分类方法的有效性，并将训练好的模型用于新文本。为分类做准备。论文实现了基于B/S架构的采集和网页分类系统，给出了各个系统模块的具体设计和实现，并从采集方面对系统进行了评价。性能和分类精度。进行了评估以验证该系统的可行性。