优化的解决方案:02.分布式日志采集ELK+Kafka

　　优化的解决方案:02.分布式日志采集ELK+Kafka

　　课程名称：

　　1.传统日记有什么缺点采集

　　2.elk+kafka log采集的原理

　　3.基于docker compose安装elk+kafka环境

　　4.基于AOP+并发队列实现日志采集

　　20:25准时开始

　　分布式日志采集 生成背景

　　在传统的项目中，如果生产环境中有多个不同的服务器集群，如果生产环境需要通过日志定位项目的Bug，就需要在每个节点上使用传统的命令查询，效率非常低。

　　因此，我们需要一个集中管理日志，ELK应运而生。

　　传统服务器搜索日志命令：tail -200f 日志文件名

　　ELK+Kafka组合

　　Elk E= ElasticSeach（存储日志信息）

　　l Logstash（搬运工）

　　K Kibana 连接到我们的 ElasticSeach GUI 以查询日志

　　Elk+kafka 实现分布式日志采集

　　为什么需要将日志存储在 ElasticSeach 而不是 MySQL？

　　ElasticSeach 底层使用倒排索引来存储数据，在搜索日志方面比 mysql 效率更高。

　　elk+kafka原理

　　\1. springboot项目会基于aop拦截系统中的日志

　　请求和响应日志消息 - 预先或环绕通知；

　　\2. 将日志传送到我们的 kafka。请注意，该过程必须采用异步形式。如果是同步形式，会影响整体

　　接口的响应速度。

　　\3. Logstash数据源——kafka订阅kafka的topic获取日志消息内容

　　\4. Logstash 将日志消息内容存储在 es 中

　　5.开发者使用 Kibana 连接 ElasticSeach 查询存储日志内容。

　　为什么ELK需要和Kafka结合

　　如果只集成elk而没有kafka，每个服务器节点都会安装Logstash进行读写日志IO操作，可能性能不太好，是多余的。

　　ELK+Kafka 环境搭建 docker compose build ELK+Kafka 环境

　　整个环境使用docker compose搭建

　　注：环境cpu多核内存4GB以上

　　kafka环境的安装：

　　1.使用 docker compose 安装 kafka

　　如果你对 docker compose 不熟悉，可以查看：#

　　docker compose 安装包

　　Docker相关学习文档：

　　\2. 码头工人撰写文件

　　\3. mkdir dockerkakfa

　　4.cd dockerkakfa

　　5.创建 docker-compose.yml

　　version: '2'

services:

zookeeper:

image: wurstmeister/zookeeper

ports:

- "2181:2181"

restart: always

kafka:

image: wurstmeister/kafka:2.12-2.3.0

ports:

- "9092:9092"

environment:

- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181

- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.75.129:9092

- KAFKA_LISTENERS=PLAINTEXT://:9092

volumes:

- /var/run/docker.sock:/var/run/docker.sock

restart: always

kafka-manager:

image: sheepkiller/kafka-manager ## 镜像：开源的web管理kafka集群的界面

environment:

ZK_HOSTS: 192.168.75.129 ## 修改:宿主机IP

ports:

- "9001:9000" ## 暴露端口

elasticsearch:

image: daocloud.io/library/elasticsearch:6.5.4

restart: always

container_name: elasticsearch

environment:

- "ES_JAVA_OPTS=-Xms512m -Xmx512m"

ports:

- 9200:9200

kibana:

image: daocloud.io/library/kibana:6.5.4

restart: always

container_name: kibana

ports:

- 5601:5601

environment:

- elasticsearch_url=http://192.168.75.129:9200

depends_on:

- elasticsearch

　　docker运行动物园管理员容器

　　docker运行kafka容器

　　docker 运行 kafka 容器 ElasticSeach

　　docker 运行 Kibana 容器

　　docker 运行 Logstash 容器

　　使用容器编排技术

　　6.关闭防火墙

　　systemctl 停止防火墙

　　服务 iptables 停止

　　7.docker-compose up 可以执行。

　　没有这个命令需要先安装docker-compose

　　注：elk+kafka环境搭建过程中，需要大量依赖镜像。

　　如果es启动报错：Unable to start 大多数原因是内存不足

　　建议虚拟机内存4G以上

　　es 启动错误: max virtual memory area vm.max_count(65530) is too

　　解决步骤：

　　1.先切换到root用户；

　　2.执行命令：

　　sysctl -w vm.max_map_count=262144

　　结果可以查看：

　　sysctl -a|grep vm.max_map_count

　　将显示以下信息：

　　vm.max_map_count = 262144

　　注意：

　　上面的方法修改后，如果重启虚拟机就失效了，所以：

　　一劳永逸的解决方案：

　　在 /etc/sysctl.conf 文件末尾添加一行代码：

　　vm.max_map_count=262144

　　被永久修改。

　　验证elk+kafka环境

　　码头工人ps

　　访问：zk 192.168.75.143:2181

　　

　　访问：es:9200/

　　访问：kibana

　　安装logstash

　　上传logstash-6.4.3.tar.gz到服务中

tar zxvf logstash-6.4.3.tar.gz

cd logstash-6.4.3

bin/logstash-plugin install logstash-input-kafka

bin/logstash-plugin install logstash-output-elasticsearch

　　注意：安装

　　bin/logstash-plugin 安装 logstash-input-kafka

　　bin/logstash-plugin 安装 logstash-output-elasticsearch

　　本地计算机需要有JDK环境。如果没有JDK环境直接安装logstash-input-kafka或者logstash-output-elasticsearch会报错

　　在 logstash 配置目录中创建 kafka.conf

　　input {

kafka {

bootstrap_servers => "192.168.75.143:9092"

topics => "mayikt-log"

}

}

filter {

#Only matched data are send to output.

}

output {

elasticsearch {

action => "index" #The operation on ES

hosts => "192.168.75.143:9200" #ElasticSearch host, can be array.

index => "my_logs" #The index to write data to.

}

}

　　进入logstash bin目录，执行./logstash -f …/config/kafka.conf

　　springboot项目集成elk+kafka maven依赖

　　

org.springframework.boot

spring-boot-starter-web

com.fasterxml.jackson.core

jackson-databind

org.projectlombok

lombok

provided

com.alibaba

fastjson

1.2.66

org.springframework.kafka

spring-kafka

org.springframework.boot

spring-boot-starter-aop

commons-lang

commons-lang

2.6

　　aop 拦截系统日志

　　import java.net.InetAddress;

import java.net.UnknownHostException;

import java.text.SimpleDateFormat;

import java.util.Arrays;

import java.util.Date;

import javax.servlet.http.HttpServletRequest;

import com.alibaba.fastjson.JSONObject;

import com.mayikt.container.LogContainer;

import org.aspectj.lang.JoinPoint;

import org.aspectj.lang.annotation.*;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.stereotype.Component;

import org.springframework.util.concurrent.ListenableFuture;

import org.springframework.web.context.request.RequestContextHolder;

import org.springframework.web.context.request.ServletRequestAttributes;

@Aspect

@Component

public class AopLogAspect {

@Value("${server.port}")

private String serverPort;

// 申明一个切点 里面是 execution表达式

@Pointcut("execution(* com.mayikt.api.service.*.*(..))")

private void serviceAspect() {

}

//

@Autowired

private LogContainer logContainer;

//

// 请求method前打印内容

@Before(value = "serviceAspect()")

public void methodBefore(JoinPoint joinPoint) {

ServletRequestAttributes requestAttributes = (ServletRequestAttributes) RequestContextHolder

.getRequestAttributes();

HttpServletRequest request = requestAttributes.getRequest();

JSONObject jsonObject = new JSONObject();

SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");// 设置日期格式

<p>

jsonObject.put("request_time", df.format(new Date()));

jsonObject.put("request_url", request.getRequestURL().toString());

jsonObject.put("request_method", request.getMethod());

jsonObject.put("signature", joinPoint.getSignature());

jsonObject.put("request_args", Arrays.toString(joinPoint.getArgs()));

// IP地址信息

jsonObject.put("ip_addres", getIpAddr(request) + ":" + serverPort);

JSONObject requestJsonObject = new JSONObject();

requestJsonObject.put("request", jsonObject);

jsonObject.put("request_time", df.format(new Date()));

jsonObject.put("log_type", "info");

// 将日志信息投递到kafka中

String log = requestJsonObject.toJSONString();

// ListenableFuture send = kafkaTemplate.send("mayikt-log",ctx);

logContainer.addLog(log);

}

//

// // 在方法执行完结后打印返回内容

// @AfterReturning(returning = "o", pointcut = "serviceAspect()")

// public void methodAfterReturing(Object o) {

// ServletRequestAttributes requestAttributes = (ServletRequestAttributes) RequestContextHolder

// .getRequestAttributes();

// HttpServletRequest request = requestAttributes.getRequest();

// JSONObject respJSONObject = new JSONObject();

// JSONObject jsonObject = new JSONObject();

// SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");// 设置日期格式

// jsonObject.put("response_time", df.format(new Date()));

// jsonObject.put("response_content", JSONObject.toJSONString(o));

// // IP地址信息

// jsonObject.put("ip_addres", getIpAddr(request) + ":" + serverPort);

// jsonObject.put("log_type", "info");

// respJSONObject.put("response", jsonObject);

// // 将日志信息投递到kafka中

kafkaTemplate.send("mayikt-log",respJSONObject.toJSONString());

logContainer.put(respJSONObject.toJSONString());

// }

//

//

/**

* 异常通知

*

* @param point

*/

@AfterThrowing(pointcut = "serviceAspect()", throwing = "e")

public void serviceAspect(JoinPoint point, Exception e) {

ServletRequestAttributes requestAttributes = (ServletRequestAttributes) RequestContextHolder

.getRequestAttributes();

HttpServletRequest request = requestAttributes.getRequest();

JSONObject jsonObject = new JSONObject();

SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");// 设置日期格式

jsonObject.put("request_time", df.format(new Date()));

jsonObject.put("request_url", request.getRequestURL().toString());

jsonObject.put("request_method", request.getMethod());

jsonObject.put("signature", point.getSignature());

jsonObject.put("request_args", Arrays.toString(point.getArgs()));

jsonObject.put("error", e.toString());

// IP地址信息

jsonObject.put("ip_addres", getIpAddr(request) + ":" + serverPort);

jsonObject.put("log_type", "info");

JSONObject requestJsonObject = new JSONObject();

requestJsonObject.put("request", jsonObject);

// 将日志信息投递到kafka中

String log = requestJsonObject.toJSONString();

logContainer.addLog(log);

}

//

public static String getIpAddr(HttpServletRequest request) {

//X-Forwarded-For（XFF）是用来识别通过HTTP代理或负载均衡方式连接到Web服务器的客户端最原始的IP地址的HTTP请求头字段。

String ipAddress = request.getHeader("x-forwarded-for");

if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {

ipAddress = request.getHeader("Proxy-Client-IP");

}

if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {

ipAddress = request.getHeader("WL-Proxy-Client-IP");

}

if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {

ipAddress = request.getRemoteAddr();

if (ipAddress.equals("127.0.0.1") || ipAddress.equals("0:0:0:0:0:0:0:1")) {

//根据网卡取本机配置的IP

InetAddress inet = null;

try {

inet = InetAddress.getLocalHost();

} catch (UnknownHostException e) {

e.printStackTrace();

}

ipAddress = inet.getHostAddress();

}

}

//对于通过多个代理的情况，第一个IP为客户端真实IP,多个IP按照&#39;,&#39;分割

if (ipAddress != null && ipAddress.length() > 15) { //"***.***.***.***".length() = 15

if (ipAddress.indexOf(",") > 0) {

ipAddress = ipAddress.substring(0, ipAddress.indexOf(","));

}

}

return ipAddress;

}

}

</p>

　　配置文件内容

　　spring:

application:

###服务的名称

name: mayikt-elkkafka

jackson:

date-format: yyyy-MM-dd HH:mm:ss

kafka:

bootstrap-servers: 192.168.75.143:9092 #指定kafka server的地址，集群配多个，中间，逗号隔开

producer:

key-serializer: org.apache.kafka.common.serialization.StringSerializer

value-serializer: org.apache.kafka.common.serialization.StringSerializer

consumer:

group-id: default_consumer_group #群组ID

enable-auto-commit: true

auto-commit-interval: 1000

key-deserializer: org.apache.kafka.common.serialization.StringDeserializer

value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

server:

port: 9000

　　整套解决方案:中文网页自动采集与分类系统设计与实现

　　密级：保密期限：一锨譬工程硕士*敏*感*词*学位论文等垒号：Ｑ 鱼Ｂ 量兰墨２姓名：王迭这专业：筮鲑王程导师：程堡主学院：筮鲑堂院２０ １０ 年６ 月本人声明成果。 尽我所收录其他人已教育机构的学何贡献均已在申请学位本人签名本人完全校攻读学位期家有关部门或可以公布学位保存、 汇编学本学位论本人签名导师签名中文网页自动采集与分类系统设计与实现摘要随着科学技术的飞速发展， 我们已经进入了数字信息化时代。 Ｉｎ ｔｅｒｎ ｅｔ作为当今世界上最大的信息库， 也成为人们获取信息的最主要手段。 由于网络上的信息资源有着海量、 动态、 异构、 半结构化等特点， 且缺乏统一的组织和管理， 所以如何快速、 准确地从海量的信息资源中寻找到自己所需的信息已经成为网络用户需要迫切解决的一大难题。 因而基于ｗ ｅｂ 的网络信息的采集与分类便成为人们研究的热点。传统的ｗ ｅｂ 信息采集的目标就是尽可能多地采集信息页面， 甚至是整个ｗ ｅｂ上的资源， 在这一过程中它并不太在意采集的顺序和被采集页面的相关主题。 这就使得所采集页面的内容过于杂乱， 其中有相当大的一部分利用率很低， 大大消耗了系统资源和网络资源。 这就需要采用有效的采集方法以减少采集网页的杂乱、 重复等情况的发生。

　　 同时如何有效地对采集到的网页实现自动分类， 以创建更为有效、 快捷的搜索引擎也是非常必要的。 网页分类是组织和管理信息的有效手段， 它可以在较大程度上解决信息杂乱无章的现象， 并方便用户准确地定位所需要的信息。 传统的操作模式是对其人工分类后进行组织和管理。 随着Ｉｎ ｔｅｒｎ ｅｔ上各种信息的迅猛增加， 仅靠人工的方式来处理是不切实际的。 因此， 网页自动分类是一项具有较大实用价值的方法， 也是组织和管理数据的有效手段。 这也是本文研究的一个重要内容。本文首先介绍了课题背景、 研究目的和*敏*感*词*的研究现状， 阐述了网页采集和网页分类的相关理论、 主要技术和算法， 包括网页爬虫技术、 网页去重技术、信息抽取技术、 中文分词技术、 特征提取技术、 网页分类技术等。 在综合比较了几种典型的算法之后， 本文选取了主题爬虫的方法和分类方面表现出色的Ｋ Ｎ Ｎ方法， 同时结合去重、 分词和特征提取等相关技术的配合， 并对中文网页的结构和特点进行了分析后， 提出中文网页采集和分类的设计与实现方法， 最后通过程序设计语言来实现， 在本文最后对系统进行了测试。 测试结果达到了系统设计的要求， 应用效果显著。

　　

　　关键词： Ｗ ｅｂ 信息采集网页分类信息抽取分词特征提取卜●、▲。＿Ｄ Ｅ Ｓ Ｉ Ｇ Ｎ Ａ Ｎ ＤＩＭ Ｐ Ｌ Ｅ Ⅳ匝Ｎ １： Ａ Ｔ ＩＯ ＮＯ ＦＣ Ｈ ＩＮ Ｅ Ｓ Ｅｗ Ｅ Ｂ Ｐ Ａ Ｇ ＥＡ Ｕ Ｔ ０ ～ＩＡ Ｔ ＩＣＣ Ｏ Ｌ Ｌ Ｅ Ｃ Ｔ Ｉ Ｏ ＮＡ Ｎ ＤＣ Ｌ Ａ ＳＳ ＩＦ ＩＣ Ａ Ｔ ＩＯ ＮＡ Ｂ Ｓ Ｔ Ｒ Ａ Ｃ ＴＷ ｉｔｈ ｔｈ ｅｒ ａ ｐ ｉｄｄ ｅ ｖ ｅ ｌｏ ｐ ｍ ｅ ｎ ｔｏ ｆ ｓｃｉｅｎ ｃｅ ａ ｎ ｄｔｅ ｃ ｈ ｎ ｏ ｌｏ ｇ ｙ ， ｗ ｅｈ ａ ｖ ｅ ｅｎ ｔｅｒｅｄ ｔｈ ｅｄ ｉｇ ｉｔａ ｌ ｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎａ ｇ ｅ． Ｉｎ ｔｅｍ ｅｔ， ｗ ｈ ｉｃｈｉＳ ｓｅｅｎ ａ ｓ ｔｈ ｅ ｗ ｏ ｒｌｄ ’ Ｓｌａ ｒ ｇ ｅｓｔｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｄ ａ ｔａ ｂ ａ ｓｅ． ｂ ｅｃｏ ｍ ｅｓｔｈ ｅｍ ａ ｉｎ ｔ０ ０ １ｏ ｆｏ ｂ ｔａ ｉｎ ｉｎ ｇｉｎ ｆ ｏ ｒｍ ａ ｔｉｏ ｎ ． Ｉｔ ｉＳａｍ ａ ｊｏ ｒｐ ｒ ｏ ｂ ｌｅ ｍｔｏ ｂ ｅｓｏ ｌｖ ｅｄｕ ｒ ｇ ｅ ｎ ｔｌｙｈ ｏ ｗ ｔｏｑ ｕ ｉｃ ｋ ｌｙａ ｎ ｄａ ｃ ｃ ｕ ｒ ａ ｔｅ ｌｙｆ ｒ ｏ ｍｔｈ ｅｍ ａ ｓｓ ｏ ｆｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｒｅｓｏ ｕ ｒｃｅｓｔｏ ｆ ｉｎ ｄ ｔｈ ｅ ｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｔｈ ａ ｔ ｕ ｓｅ ｒ ｓ ｎ ｅ ｅ ｄ ｂ ｅ ｃ ａ ｕ ｓｅｔｈ ｅ ｎ ｅ ｔｗ ｏ ｒ ｋｏ ｆｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎ ｒ ｅ ｓ ｏ ｕ ｒ ｃ ｅ ｓｈ ａ ｓ ａｍ ａｓｓｉｖｅ， ｄ ｙｎａｍ ｉｃ， ｈｅｔｅｒｏｇ ｅｎｅｏｕｓ， ｓｅｍ ｉ—ｓｔｒｕｃｔｕｒｅｄｃｈ ａ ｒａ ｃｔｅｒｉｓｔｉｃｓ， ａ ｎ ｄｔｈ ｅ ｌａ ｃｋｏ ｆａｕ ｎ ｉｆ ｉｅｄｏ ｒ ｇ ａ ｎ ｉｚ ａ ｔｉｏ ｎａ ｎ ｄｍ ａ ｎ ａ ｇ ｅ ｍ ｅ ｎ ｔｐｒｅｓｅｎｔｓ． Ｊ朊６ｉｎ ｆ ｏ ｒｍ ａ ｔｉｏ ｎ － ｂａ ｓｅｄｃｏ ｌｌｅ ｃｔｉｏ ｎａ ｎ ｄ ｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎｂ ｅ ｃ ｏ ｍ ｅ ｓｔｈ ｅｒｅｓｅａ ｒｃｈｈ ｏ ｔｓｐ ｏ ｔ．Ｔ ｈ ｅｇ ｏ ａ ｌｏ ｆ ｔｒａ ｄ ｉｔｉｏ ｎ ａ ｌ Ｗ 曲ｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎ ｃｏ ｌｌｅｃｔｉｏ ｎ ｉｓ ｔｏｇ ａ ｔｈ ｅｒｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎ ａ ｓｍ ｕ ｃ ｈａ ｓｐ ｏ ｓｓｉｂ ｌｅ ， ｏ ｒｅｖ ｅｎｔｈ ｅ ｗ ｈ ｏ ｌｅｒ ｅ ｓ ｏ ｕ ｒ ｃ ｅ ｓｏ ｎｔｈ ｅ∥ 如功ｅｏ ｒ ｄ ｅ ｒ ａ ｎ ｄｔｏ ｐ ｉｃｐ ａ ｇ ｅ ｓａ ｒｅｎ ｏ ｔ ｃａ ｒｅｄａ ｂ ｏ ｕ ｔｉｎｔｈ ｅｐ ｒ ｏ ｃ ｅ ｓｓｏ ｆｃｏ ｌｌｅｃｔｉｎ ｇ ． ｔｈ ｅｐ ａ ｇ ｅｃ ｏ ｎ ｔｅ ｎ ｔｓ ｉＳ ｔｏ ｏ ｃｌｕ ｔｔｅｒｅｄ ， ａ ｎ ｄａｌａ ｒ ｇ ｅｐ ａ ｒ ｔｏ ｆｔｈ ｅｍｉｓｓｐ ａ ｒｉｎ ｇ ｌｙｕ ｓｅ ｄ Ｓ Ｏｔｈ ａ ｔｓｙｓｔｅｍｒｅｓｏ ｕ ｒｃｅｓａ ｎ ｄｎ ｅｔｗ ｏ ｒｋ ｒｅｓｏ ｕ ｒｃｅｓａ ｒｅ ｗ ａ ｓｔｅｄ ． Ｔ ＩｌｉＳ ｒ ｅ ｑ ｕ ｉｒ ｅ ｓ ｅｆ ｆ ｅｃｔｉｖ ｅｃｏ ｌｌｅｃｔｉｏ ｎ ｍ ｅ ｔｈ ｏ ｄ ｕ ｓｅ ｄ ｔｏ ｒ ｅ ｄ ｕ ｃ ｅ ｔｈ ｅ ｃｏ ｌｌｅｃｔｅｄｐ ａ ｇ ｅｃｌｕ ｔｔｅｒ ａ ｎ ｄｄ ｕ ｐ ｌｉｃ ａ ｔｉｏ ｎ ． Ｔ ｈ ｅｗ ｅ ｂｐ ａ ｇ ｅ ｓａ ｒ ｅａ ｕ ｔｏ ｍ ａ ｔｉｃａ ｌｙｃｌａ ｓｓｉｆ ｉｃａ ｔｅｄ ｔｏ ｃ ｒ ｅ ａ ｔｅｅｆ ｆ ｅｃｔｉｖ ｅ ａ ｎ ｄ ｅ伍ｃｉｅｎ ｔ ｓｅａ ｒｃｈｅｎ ｇ ｉｎ ｅ． Ｏ ｒｇ ａ ｎ ｉｚａ ｔｉｏ ｎａ ｎ ｄｍ ａ ｎａ ｇ ｅｍ ｅｎｔｏ ｆ ｗ ｅ ｂｐ ａ ｇ ｅｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ｉＳ ａ ｎ ｅｆ ｆ ｅｃｔｉｖ ｅｍ ｅ ａ ｌｌＳｏ ｆｉｎ ｆ ｏ ｒｍ ａ ｔｉｏ ｎ ， ｗ ｈ ｉｃｈＣ ａ ｎ ｓｏ ｌｖ ｅ ａｌａ ｒｇ ｅｅｘ ｔｅｎ ｔｔｈ ｅｐ ｈ ｅ ｎ ｏ ｍ ｅ ｎ ｏ ｎ ｏ ｆ ｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎ ｃｌｕ ｔｔｅｒ ａ ｎ ｄ ｆ ａ ｃｉｌｉｔａ ｔｅ ｕ ｓｅｒｓ ｔｏａ ｃｃｕ ｒａ ｔｅｌｙｌｏ ｃａ ｔｅ ｔｈ ｅｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｔｈ ｅｙ ｎ ｅｅｄ ． Ｈ ｏ ｗ ｅｖ ｅｒ，ｔｈ ｅｔｒａ ｄ ｉｔｉｏ ｎ ａ ｌｍ ｏ ｄ ｅ ｏ ｆｏ ｐ ｅ ｒ ａ ｔｉｏ ｎｉＳ ｍ ａ ｎ ｕ ａ ｌ． Ｗ ｉｔｈｔｈ ｅｒ ａ ｐ ｉｄｉｎ ｃ ｒ ｅ ａ ｓｉｎ ｇｏ ｆａ ｌｌ ｋ ｉｎ ｄ ｓ ｏ ｆｉｎ ｆ ｏ ｒ ｎ ｌａ ｔｉｏ ｎ ｉｎ ｔｈ ｅＩｎ ｔｅｍ ｅｔ， ｍ ａ ｎ ｕ ａ ｌｗ ａ ｙｔｏ ｈ ａ ｎ ｄ ｌｅａ ｌｏ ｎ ｅ ｉＳ ｕ ｎ ｒｅａ ｌｉｓｔｉｃ． Ｔ ｈ ｅｒｅｆ ｏ ｒｅ． Ｗ ｅｂｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ｉｓ ｎ ｏ ｔ ａｍ ｅ ｔｈ ｏ ｄｗ ｉｔｈｇ ｒ ｅ ａ ｔｐ ｒａ ｃｔｉｃａ ｌｖ ａ ｌｕ ｅ， ｂ ｕ ｔａ ｌｓｏ ｉｓ ａ ｎ ｅｆ ｆ ｅｃｔｉｖ ｅ ｍ ｅａ ｎ ｓ ｏ ｆｏ ｒｇ ａ ｎ ｉｚ ｉｎ ｇａ ｎ ｄｍ ａ ｎ ａ ｇ ｉｎ ｇｄ ａ ｔａ ． Ｔ ｔ ｉｓ ａ ｎｉｍ ｐ ｏ ｒｔａ ｎ ｔｒｅｓｅａ ｒｃｈｐ ａ ｒｔｏ ｆｔｈ ｉｓｐａ ｐｅｒ．Ｆ ｉｒ ｓｔｌｙ ，ｔｈ ｅｔｏ ｐ ｉｃｂ ａ ｃ ｋ ｇ ｒ ｏ ｕ ｎ ｄ ， ｐ ｕ ｒ ｐ ｏ ｓｅａ ｎ ｄｒｅｓｅａ ｒｃｈ ｓｔａ ｔｕ ｓ ａ ｒｅｉｎ ｔｒｏ ｄ ｕ ｃｅｄ ， ａ ｎ ｄｔｈ ｅｔｈ ｅ ｏ ｒ ｉｅ ｓ， ｔｅ ｃ ｈ ｎ ｉｑ ｕ ｅ ｓａ ｎ ｄａ ｌｇ ｏ ｒｉｔｈ ｍ ｓｏ ｆ ｗ ｅ ｂｐ ａ ｇ ｅｃｏ ｌｌｅｃｔｉｏ ｎ ａ ｎ ｄ ｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ａ ｒｅｄ ｅｓｃｒｉｂｅｄ ， ｗ ｈ ｉｃｈｉｎ ｃｌｕ ｄ ｓ ｗ ｅ ｂ ｃ ｒ ａ ｗ ｌｅ ｒｔｅｃｈ ｎ ｏ ｌｏ ｇ ｙ ，ｄ ｕ ｐ ｌｉｃａ ｔｅｄｗ ｅ ｂｐ ａ ｇ ｅ ｓｄ ｅ ｌｅ ｔｃ ｉｏ ｎｔｅｃｈ ｎ ｏ ｌｏ ｇ ｙ ，ｉｎ ｆ ｏ ｒｍ ａ ｔｉｏ ｎｅ ｘ ｔｒ ａ ｃｔｉｏ ｎ ｔｅｃｈ ｎ ｏ ｌｏ ｇ ｙ ，Ｃ ｈ ｉｎ ｅｓｅｗ ｏ ｒ ｄｓｅｇ ｍ ｅｎ ｔａ ｔｉｏ ｎ ， ｆ ｅａ ｔｕ ｒｅｅ ｘ ｔｒ ａ ｃｔｉｏ ｎｔｅ ｃ ｈ ｎ ｉｑ ｕ ｅ ｓａ ｎ ｄ ｗ ｅ ｂｐ ａ ｇ ｅｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎｔｅｃｈ ｎ ｏ ｌｏ ｇ ｙ ． Ａ ｃｏ ｍ ｐ ｒｅｈ ｅｎ ｓｉｖ ｅｃｏ ｍ ｐ ａ ｒｉｓｏ ｎｏ ｆ ｓｅｖ ｅｒａ ｌｔｙ ｐ ｉｃａ ｌ ａ ｌｇ ｏ ｒｉｔｈ ｍ ｓｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ｉｓ ｓｅｌｅｃｔｅｄ ｂ ｅ ｃａ ｕ ｓｅｔｈ ｅ ｙｈ ａ ｖ ｅｏ ｕ ｔｓｔａ ｎ ｄ ｉｎ ｇｐ ｅｒｆ ｏ ｒｍ ａ ｎ ｃｅ． １１１ｅ ｐ ｒｏ ｐ ｏ ｓｅｄａ ｃｑ ｕ ｉｓｉｔｉｏ ｎａ ｎ ｄｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ｏ ｆＣ ｈ ｉｎ ｅ ｓｅｗ ｅ ｂ ａ ｒｅｄ ｅｓｉｇ ｎ ｅｄａ ｎ ｄｉｍ ｐｌｅｍ ｅｎｔａ ｔｅｄａ ｆ ｔｅｒｔｈ ｅ ｓｅ ｔｅｃｈ ｎｏ ｌｏ ｇ ｉｅｓａ ｒ ｅ ｃｏ ｍ ｂ ｉｎ ｅｄ ａ ｎ ｄ ｔｈ ｅ ｓｔｒ ｕ ｃ ｔｕ ｒ ｅ ａ ｎ ｄ ｃｈ ａ ｒａ ｃｔｅｒｉｓｔｉｃｓ ｏ ｆ Ｃ ｈ ｉｎ ｅ ｓｅｌａ ｎ ｇ ｕ ａ ｇ ｅｗ ｅ ｂｐ ａ ｇ ｅａ ｒｅａ ｎ ａ ｌｙ ｚｅｄ ． Ｆ ｉｎ ａ ｌｌｙ ，ｉｔｉｓ ｃｏ ｄ ｅｄａ ｎ ｄｒｅａ ｌｉｚｅｄｂ ｙｔｈ ｅｐ ｒ ｏ ｇ ｒ ａ ｍ ｍ ｉｎ ｇｌａ ｎｇ ｕ ａ ｇ ｅ． Ｔ ｅｓｔｒｅｓｕ ｌｔｓ ｔｈ ａ ｔｔｈ ｅｓｙ ｓｔｅｍｍ ｅ ｔｔｈ ｅｄ ｅｓｉｇ ｎｒｅｑ ｕ ｉｒｅｍ ｅｎ ｔｓ， ａ ｎ ｄａ ｐ ｐ ｌｉｃ ａ ｔｉｏ ｎａ ｒｅｄ ｏ ｎ ｅｉｎｍ ａ ｎ ｙｆｅｉｌｄ ｓ．ｉＳ ｍ ａ ｄ ｅ， ｔｏ ｐ ｉｃａ ｌ ｃｒａ ｗ ｌｅｒ ａ ｎ ｄ Ｋ Ｎ ＮＫ ｅ ｙ ｗ ｏ ｒ ｄ ｓ： ｗ ｅ ｂｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｃ ｏ ｌｌｅ ｃ ｔｉｏ ｎ ， ｗ ｅ ｂ ｐ ａ ｇ ｅｃｌａ ｓｓｉｆ ｉｃａ ｔｉｏ ｎ ，ｉｎ ｆ ｏ ｒ ｍ ａ ｔｉｏ ｎｅｘ ｔｒａ ｃｔｉｏ ｎ ， ｓｅｇ ｍ ｅｎ ｔａ ｔｉｏ ｎ ， ｃｈ ａ ｒａ ｃｔｅｒｅｘ ｔｒａ ｃｔｉｏ ｎ目录第一章引言……………………………………………………………………………． ． ． ……………１１． １课题背景及研究现状…………………………………………………………． １１． １． １课题的背景及研究目的…………………………………………………． ． １１． １． ２课题的*敏*感*词*研究现状……………………………………………………２１． ２课题任务………………………………………………………………………． ４１． ３论文结构………………………………………………………………………． ４第二章网页采集与分类相关技术介绍……………………………………………………６２． １网页爬虫技术…………………………………………………………………． ６２． １． １通用网络爬虫………………………………………………………………６２． １． ２聚焦网络爬虫……………………………………………………………。

　　 ８２． １． ３深度网络爬虫……………………………………………………………ｌＯ２． ２中文网页信息抽取技术………………………………………………………． １１２． ２． １中文网页特点分析………………………………………………………． １１２． ２． ２信息抽取关键技术………………………………………………………１２２． ２． ３信息抽取评价标准………………………………………………………． １３２． ３网页去重技术…………………………………………………………………１３２． ４ 中文文本分词技术……………………………………………………………． １５２． ４ ． １中文分词概述……………………………………………………………ｌ５２． ４ ． ２中文分词方法……………………………………………………………。 １６２． ５特征提取技术…………………………………………………………………１９２． ５． １特征提取概述……………………………………………………………． １９２． ５． ２特征提取方法……………………………………………………………２０２． ６ 网页分类技术概述……………………………………………………………２２２． ７ 本章小结………………………………………………………………………２２第三章网页采集与分类系统设计……………………………………………………………． ２３３． １系统需求分析…………………………………………………………………２３３． ２系统概要设计…………………………………………………………………２４３． ２． １系统总体框架设计………………………………………………………２４３． ２． ２采集系统结构设计………………………………………………………２４３． ２． ３分类系统结构设计………………………………………………………２５３． ３系统功能模块设计……………………………………………………………２６３． ３． １系统总体模块设计………………………………………………………２６３． ３． ２模块功能介绍……………………………………………………………２７３． ４ 系统流程设计…………………………………………………………………２８３． ４ ． １采集系统流程设计设计…………………………………………………２８３． ４ ． ２分类系统流程设计………………………………………………………２９３． ５系统逻辑设计…………………………………………………………………３０３． ５． １采集系统类图……………………………………………………………． ． ３０３． ５． ２分类系统类图……………………………………………………………３１３． ５． ３分类处理时序图…………………………………………………………３１３． ５系统数据库设计………………………………………………………………３． ６本章小结………………………………………………………………………第四章网页采集与分类系统实现……………………………………………………………．４ ． １页面采集模块实现……………………………………………………………４ ． ２网页信息抽取模块实现………………………………………………………４ ． ３网页去重模块实现……………………………………………………………．４ ． ４ 中文分词模块实现……………………………………………………………４ ． ５特征向量提取模块实现………………………………………………………４ ． ６训练语料库模块实现…………………………………………………………４ ７４ ． ７ 分类模块实现…………………………………………………………………４ ８４ ． ７ ． １几种典型的分类算法……………………………………………………． ４ ８４． ７． ２Ｋ Ｎ Ｎ 算法实现分类模块…………………………………………………． ５０４ ． ８系统开发环境配置……………………………………………………………． ５２４ ． ９ 本章小结………………………………………………………………………５２第五章网页采集与分类系统测试………………厶ｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ５３５． １系统运行界面…………………………………………………………………５３５． ２实验评测标准…………………………………………………………………５６５． ３实验结果分析…………………………………………………………………５７５． ４ 本章小结………………………………………………………………………５９第六章结束语………………………………………………………………………………６０６ ． １论文工作总结…………………………………………………………………６ ０６ ． ２问题和展望……………………………………………………………………６ ０参考文献………………………………………………………………………………………。

　　

　　 ６１鸳Ｉ［谢…………………………………………………． ． ……………………………………………………。 ６３北京邮电大学软件工程硕上论文１． １课题背景及研究现状第一章引言１． １． １课题的背景及研究目的随着互联网的普及和网络技术的飞速发展， 网络上的信息资源呈指数级增长， 我们已经进入了信息化时代。 信息技术渗透到社会生活的方方面面， 人们可以从互联网上获得越来越多的包括文本、 数字、 图形、 图像、 声音、 视频等信息。然而， 随着ｗ ｅｂ 信息的急速膨胀， 如何快速、 准确地从浩瀚的信息资源中找到自己所需的信息却成为广大网络用户的一大难题。 因而基于互联网上的信息采集和分类日益成为人们关注的焦点。．为了解决信息检索的难题， 人们先后开发了如Ａ ｒｃｈ ｉｖ ｅ、 Ｇ ｏ ｏ ｇ ｌｅ、 Ｙ ａ ｈ ｏ ｏ 等搜索引擎。 这些搜索引擎通常使用一个或多个采集器从Ｉｎ ｔｅｍ ｅｔ（ 如Ｗ Ｗ Ｗ 、 Ｆ Ｔ Ｐ 、Ｅ ｍ ａ ｉｌ、 Ｎ ｅｗ ｓ）上采集各种数据， 然后在本地服务器上为这些数据建立索引， 当用户检索时根据用户提交的检索条件从索引库中迅速查找到所需的信息。 Ｗ ｅｂ信息采集作为这些搜索引擎的基础和组成部分， 发挥着举足轻重的作用。

　　 ｗ ｅｂ信息采集是指通过Ｗ ｅ ｂ 页面之间的链接关系， 从Ｗ ｅ ｂ 上自动地获取页面信息，并且随着链接不断的向所需要的ｗ ｅｂ 页面扩展的过程。 传统的Ｗ 曲信息采集的目标就是尽可能多地采集信息页面， 甚至是整个ｗ ｅｂ 上的资源， 在这一过程中它并不太在意采集的顺序和被采集页面的相关主题。 这样做的一个极大好处是能够集中精力在采集的速度和数量上， 并且实现起来也相对简单。 但是， 这种传统的采集方法存在着很多缺陷。 因为基于整个Ｗ ｅｂ 的信息采集需要采集的页面数量十分浩大， 这需要消耗非常大的系统资源和网络资源， 但是它们中有相当大的一部分利用率很低。 用户往往只关心其中极少量的页面， 而采集器采集的大部分页面对于他们来说是没有用的。 这显然是对系统资源和网络资源的一个巨大浪费。 随着ｗ ｅｂ 网页数量的迅猛增长， 即使是采用了定题采集技术来构建定题搜索引擎， 同一主题的网页数量仍然是海量的。 那么如何有效地对网页实现自动分类， 以创建更为有效、 快捷的搜索引擎是非常必要的。 传统的操作模式是对其人工分类后进行组织和管理。 这种分类方法分类比较准确， 分类质量也较高。 随着Ｉｎ ｔｅｒｎ ｅｔ上各种信息的迅速增加， 仅靠人工的方式来处理是不切实际的。

　　 对网页进行分类可以在很大程度上解决网页上信息杂乱的现象， 并方便用户准确地定位所需要的信息， 因此， 网页自动分类是一项具有较大实用价值的方法， 也是组织和管理数据的有效手段。 这也是本文研究的一个重要内容。北京邮电大学软件工程硕士论文１． １． ２课题的*敏*感*词*研究现状●网页采集技术发展现状网络正在不断地改变着我们的生活， Ｉｎ ｔｅｍ ｅｔ已经成为当今世晃上最大的信息资源库， 如何快速、 准确地从浩瀚的信息资源库中寻找到所需的信息已经成为网络用户的一大难题。 无论是一些通用搜索引擎（ 如谷歌、 百度等）， 或是一些特定主题的专用网页采集系统， 都离不开网页采集， 因而基于Ｗ ｅｂ 的网页信息采集和*敏*感*词*ＩＧ ｏ ｏ ｇ ｌｅ、 Ｙ ａ ｈ ｏ ｏ 等各种搜索引擎。 这些搜索引擎通常是通过一个或多个采集器从Ｉｎ ｔｅｒｎ ｅｔ上采集各种数据， 然后在本地服务器上为这些数据建立索引， 当用户检索时根据用户提交的检索条件从建立的索引库中迅速查找到所需信息。 传统的采集方法存在着很多缺陷。首先， 随着网页信息的爆炸式增长， 信息采集的速度越来越不能满足实际应用的需要。 即使大型的信息...