php抓取网页数据插入数据库(一个函数抓取网页的表格*敏*感*词*法及注意事项（上）)

　　php抓取网页数据插入数据库(一个函数抓取网页的表格*敏*感*词*法及注意事项（上）)

　　爬虫是我们熟悉的概念。比如百度和谷歌都有自己的爬虫工具，可以对网站进行爬取、分析、索引，方便我们查询。

　　我们在浏览网站和查询信息的时候，如果想做一些批处理，也可以分析网站的结构，抓取网页，提取信息，然后完成一个小爬虫的编写.

　　网络爬虫需要我们了解

　　URL

　　结构，

　　HTML

　　语法特征和结构，以及适当的爬行和解析工具的使用。我们先看一下本文中的一个简单流程，给个直观感受：一个抓取网页表单的函数。后面我会慢慢分析如何获取更多的定制信息。

　　HMDB（人类代谢组数据库）收录 收录大量代谢组学、临床化学、生物标志物开发和基础教育的代谢组数据。数据连接化学、临床和分子生物学三个层次，共有114,099个代谢物。

　　网站 提供多种浏览和查询功能，可以针对不同的疾病、通路、BMI、年龄、性别相关的代谢组学。

　　下图显示了BMI相关代谢物的数据。

　　如果我们要下载这个表格，一种方法是一页一页地复制，大约十几次。工作量不算大，但有些无聊。另一种方式是这次抓取网页。

　　R的

　　XML

　　包里有个函数

　　readHTMLTable

　　它专用于识别 HTML 中的表格（table 标签）以提取元素。具体用途如下：

<p># Load the package required to read website

library(XML)

# wegpage address

url