爬虫爬取到的数据都是什么？怎么找？

　　爬虫爬取到的数据都是什么？怎么找？

　　关键词采集，各位小伙伴或许在今天的线上学习当中经常碰到这样的问题。大多是自己不知道要找哪些关键词，也不知道具体怎么找。也不知道其他小伙伴怎么找关键词，今天，我们就是从关键词工具那里爬虫了一批各种各样的关键词，并分析了一下。这个数据集包含了517357个网页及其字段，其中关键词包含了127863个字段，因此这篇文章所要分析的关键词集大概有24万多。

　　爬虫数据集下载地址：【517357个网页关键词】爬虫采集了用户名、密码、邮箱、游戏名等关键词汇总表，共计48000多条。考虑到关键词重复问题，我把采集的关键词都设置为唯一的。把我们的采集到的数据库全部存入数据库php数据库。爬虫需要制作爬虫脚本来对关键词进行处理。采用excel来对关键词进行处理，获取数据放入html表格。

　　关键词爬取工具php爬虫工具爬虫脚本关键词采集我们需要制作爬虫脚本，来对网页进行批量爬取，爬虫脚本依赖于excel爬虫工具。下面我们就先来制作爬虫脚本，看一下我们爬虫爬取到的数据都是什么。第一步：爬取关键词我们爬虫要爬取关键词，我们自己打开一个关键词网页，把爬虫挂载到我们自己的php脚本当中去。爬虫脚本如下：那么，爬虫脚本分为几个模块，分别是：1.选择关键词网址2.获取数据网址并放入html表格3.选择关键词所在的网页名称4.获取发布时间5.发布者信息获取然后就可以爬取数据了。

　　下面我们爬取的数据中，英文数字这类的就是字符型数据，是无法直接用chrome浏览器解析文本的，所以这类的数据处理就采用的在php语言中标识字符的方法，让我们可以在chrome浏览器中直接解析的。比如我们想把一个关键词“coffee”转换成数字格式，一般我们都会用三个函数来完成，如果我们用脚本自动去分析和转换，其成本并不低，这个时候，我们就需要人工手动的去解析一下文本。

　　为了让爬虫不乱，我们首先要清楚的定义关键词所属的内容类型，那就是sunny。通过判断，我们可以将关键词作为数字形式来处理。这样我们可以分析出title、tab、description等几个属性。然后我们在爬虫脚本中加入爬虫，再把爬虫放在web服务器上，在关键词处插入sunny=raw获取该网址我们发现英文数字“coffee”并不在php的表中，所以我们需要修改一下我们的文件.xml文件。

　　再查找一下“coffee”,发现确实在.xml中，但是没找到关键词中的数字，那这个关键词怎么处理呢？我们想到的就是把我们的php脚本中的一些关键词，比如：title、tab、description添加在coffee.php这个文件中。然后我们发现，爬。