网站采集器自动超文章发布(利用网页信息采集技术建立医院内网新闻平台(组图))

　　网站采集器自动超文章发布(利用网页信息采集技术建立医院内网新闻平台(组图))

　　利用网页信息采集技术建立医院内网新闻平台分析总结：利用网页采集技术搭建内部新闻平台，医务人员可以通过内部及时了解*敏*感*词*新闻动态信息系统网络。关键词：网页采集；内网新闻；cms 中文图书馆分类号：G640 文献标识码：A 文章 编号：1674-9324 (2013） 51-0198-02 一、简介 我院信息系统网络和公网采取了严格的物理隔离措施，内外网之间的数据访问通过一个网守实现，医院建立了内网网站，用于发布医院新闻和通知等信息。信息系统用户只能浏览内部网站提供的医院新闻，不能浏览公网信息。随着医院的不断发展和互联网的普及，临床临床工作人员通过互联网渴望通过信息系统网络了解自己关心的国家的时事、新闻、政策和法规。利用信息技术消除“信息孤岛”，为临床医生和医院管理者提供更多服务二、方案选择实现上述功能，方案有以下两种： 方案1：利用现有的网守将公网地址映射到内网，解决用户浏览新闻的问题。方案二：在外网搭建自己的新闻平台，及时发布新闻信息，通过网守将网站映射到内网。方案一实现比较简单，只需要简单的配置就可以实现以上功能，但是也有缺点，主要是内容在公网网站一旦映射到内网，用户可以浏览所有信息在 网站 中。部分娱乐信息及无关信息无法屏蔽，浏览无法控制，故不接受该方案。在外网搭建自己的新闻平台，及时发布新闻信息，通过网守将网站映射到内网。方案一实现比较简单，只需要简单的配置就可以实现以上功能，但是也有缺点，主要是内容在公网网站一旦映射到内网，用户可以浏览所有信息在 网站 中。部分娱乐信息及无关信息无法屏蔽，浏览无法控制，故不接受该方案。在外网搭建自己的新闻平台，及时发布新闻信息，通过网守将网站映射到内网。方案一实现比较简单，只需要简单的配置就可以实现以上功能，但是也有缺点，主要是内容在公网网站一旦映射到内网，用户可以浏览所有信息在 网站 中。部分娱乐信息及无关信息无法屏蔽，浏览无法控制，故不接受该方案。一旦映射到内网，用户就可以浏览网站中的所有信息。部分娱乐信息及无关信息无法屏蔽，浏览无法控制，故不接受该方案。一旦映射到内网，用户就可以浏览网站中的所有信息。部分娱乐信息及无关信息无法屏蔽，浏览无法控制，故不接受该方案。

　　第二套方案需要自己搭建新闻平台，实施起来比第一套方案复杂，但是可以对新闻信息进行管理，避免一些不相关的信息，所以采用了第二套方案。按照方案二，问题是依靠人力逐条复制录入新闻，势必造成资源的极大浪费，所以考虑使用网页信息采集技术实现新闻的批量获取和发布信息。网页信息采集技术是通过分析网页的HTML代码，获取网络中的超链接信息，采用广度优先搜索算法和增量存储算法，实现对链接的自动连续分析、抓取文件、处理和保存数据的过程。三、 具体实现过程如下： 1.cms 选择：cms是Content Management System的缩写，意思是“内容管理系统”，它有很多基于模板的优秀设计可以加速up 网站 开发，降低开发成本。为了节省投资，比较了目前流行的“帝国cms”、“PHPcms”、“织梦cms”等免费的cms。感觉织梦cms好用，模板多，尤其是后台的网页采集模块，最后选择了织梦内容管理系统（以下简称织梦称为 Dedecms）。2.搭建服务器环境，笔者采用Windows2003 Server IIS+PHP+ MySQL的模型。PHP 是超文本预处理器的缩写。

　　PHP 是一种 HTML 嵌入语言，一种嵌入在服务器端执行的 HTML 文档中的脚本语言。语言风格与C语言相似，应用广泛。现在PHP部署很简单，直接从http://下载5.4.0版本安装包，安装即可。MySQL 是一个小型的关系型数据库管理系统。由于体积小、速度快、总体拥有成本低，尤其是开源特性，很多网站选择了MySQL作为网站数据库。从 下载并安装 MySQL Installer 5.5.21 版本进行安装。为了保证数据库的安全，在MySQL安装过程中要注意设置root用户密码。如果忘记设置，系统安装好后可以使用mysqladmin命令设置密码。安装完成后，测试PHP和MySQL服务是否正常。3.MySQL 数据库管理，可以使用 PhpMyAdmin 或 Navicat MySQL。PhpMyAdmin 的缺点是必须安装在Web 服务器中，如果没有适当的访问权限，其他用户可能会损坏SQL 数据。Navicat MySQL 是一个强大的 MySQL 数据库服务器管理和开发工具。它可以与任何版本的 MySQL 3.21 或更高版本一起工作，并支持大多数最新的 MySQL 特性，包括触发器、存储过程、函数、事件、视图、管理用户等。MySQL 数据库管理，可以使用 PhpMyAdmin 或 Navicat MySQL。PhpMyAdmin 的缺点是必须安装在Web 服务器中，如果没有适当的访问权限，其他用户可能会损坏SQL 数据。Navicat MySQL 是一个强大的 MySQL 数据库服务器管理和开发工具。它可以与任何版本的 MySQL 3.21 或更高版本一起使用，并支持大多数最新的 MySQL 特性，包括触发器、存储过程、函数、事件、视图、管理用户等。MySQL 数据库管理，可以使用 PhpMyAdmin 或 Navicat MySQL。PhpMyAdmin 的缺点是必须安装在Web 服务器中，如果没有适当的访问权限，其他用户可能会损坏SQL 数据。Navicat MySQL 是一个强大的 MySQL 数据库服务器管理和开发工具。它可以与任何版本的 MySQL 3.21 或更高版本一起工作，并支持大多数最新的 MySQL 特性，包括触发器、存储过程、函数、事件、视图、管理用户等。

　　它不仅对专业开发人员来说是一项非常前沿的技术，而且对于新手来说也很容易学习和使用。因为是本地服务器，综合考虑，最后安装Navicat MySQL进行MySQL数据库管理。4.安装Dedecms，从下载“Dedecms V5.7”版本。按照网站提供的教程安装。安装过程中需要注意以下问题：（1）data、templates、uploads、a或html目录，设置读写、非执行权限。（2）你不要不需要设置特殊主题，建议删除特殊目录，生成HTML后，删除special/index.php，将该目录设置为读写和非执行权限。（3）include , member、plus、后台管理目录设置为可执行脚本，可读不可写（如果安装了附加模块，book、ask、company、group目录也同样设置）。（4）安装完成后删除安装目录。5.设置网站栏，根据自己的需要设置不同的网站栏。笔者设置人民日报、健康报、地方报。6.网页实现采集是本方案的核心部分，德德cms自有网络采集模块也可以实现网页自动采集，但是采集功能比较单薄，不能采集同时发布多个网站，

<p>现在网上的数据采集软件主要有以下几种：“优采云”、“网络矿工”、“优讯软件”、“网络神采”、“易挖矿”、“优采云”、“三个人”等。以上均为付费软件，有免费版供试用，但有功能限制。因为它的大部分采集都是纯静态页面，数据结构简单，在尝试了很多采集软件后，我最终选择了“优采云采集器V7免费版”。“优采云采集器V7”Web发布模块带有“Dedecms5.7”版本，无需编写发布接口代码。直接运行“优采云采集器”，添加需要&lt; 任务栏中@采集网页、编辑采集 URL规则、采集内容规则、发布内容设置等，实现网页批量自动采集和批量发布。在实际操作中要注意以下几个方面：（1）在采集中，如何采集将远程图片发布到本地服务器，在