抓取网页数据php(
5.ROBOT协议的基本语法：爬虫数据提取4.应用
)
　　import urllib.request
# 私密代理授权的账户
user = "user_name"
# 私密代理授权的密码
passwd = "uesr_password"
# 代理IP地址 比如可以使用百度西刺代理随便选择即可
proxyserver = "177.87.168.97:53281"
# 1. 构建一个密码管理对象，用来保存需要处理的用户名和密码
passwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
# 2. 添加账户信息，第一个参数realm是与远程服务器相关的域信息，一般没人管它都是写None，后面三个参数分别是 代理服务器、用户名、密码
passwdmgr.add_password(None, proxyserver, user, passwd)
# 3. 构建一个代理基础用户名/密码验证的ProxyBasicAuthHandler处理器对象，参数是创建的密码管理对象
# 注意，这里不再使用普通ProxyHandler类了
proxyauth_handler = urllib.request.ProxyBasicAuthHandler(passwdmgr)
# 4. 通过 build_opener()方法使用这些代理Handler对象，创建自定义opener对象，参数包括构建的 proxy_handler 和 proxyauth_handler
opener = urllib.request.build_opener(proxyauth_handler)
# 5. 构造Request 请求
request = urllib.request.Request("http://bbs.pinggu.org/")
# 6. 使用自定义opener发送请求
response = opener.open(request)
# 7. 打印响应内容
print (response.read())
　　5.ROBOT 协议
　　在目标 URL 后添加 /robots.txt，例如：/robots.txt
　　
　　第一个意思是对于所有爬虫来说，不能在/?开头的路径无法访问匹配/pop/*.html的路径。最后四个用户代理的爬虫不允许访问任何资源。
　　所以Robots协议的基本语法如下：
　　网络爬虫抓取
　　1.爬虫的使用
　　实现浏览器的功能，通过指定的URL直接返回用户需要的数据。一般步骤：
　　2.web 分析
　　获取到相应的内容进行分析后，其实是需要对一段文本进行处理，从网页中的代码中提取出你需要的内容。 BeautifulSoup 可以实现通常的文档导航、搜索和修改文档功能。如果lib文件夹中没有BeautifulSoup，请使用命令行安装。
　　pip install BeautifulSoup
　　3.数据提取
　　# 想要抓取我们需要的东西需要进行定位，寻找到标志
from bs4 import BeautifulSoup
soup = BeautifulSoup('',"html.parser")
tag=soup.meta
# tag的类别
type(tag)
>>> bs4.element.Tag
# tag的name属性
tag.name
>>> 'meta'
# attributes属性
tag.attrs
>>> {'content': 'all', 'name': 'robots'}
# BeautifulSoup属性
type(soup)
>>> bs4.BeautifulSoup
soup.name
>>> '[document]'
# 字符串的提取
markup='房产'
soup=BeautifulSoup(markup,"lxml")
text=soup.b.string
text
>>> '房产'
type(text)
>>> bs4.element.NavigableString
　　4.BeautifulSoup 应用示例
　　import requests
from bs4 import BeautifulSoup
url = "http://www.cwestc.com/MroeNews.aspx?gd=2"
html = requests.get(url)
soup = BeautifulSoup(html.text,"lxml")
　　
　　#通过页面解析得到结构数据进行处理
from bs4 import BeautifulSoup
soup=BeautifulSoup(html.text,"lxml")
#定位
lptable = soup.find('table',width='780')
# 解析
for i in lptable.find_all("td",width="680"):
title = i.b.strong.a.text
href = "http://www.cwestc.com"+i.find('a')['href']
# href = i.find('a')['href']
date = href.split("/")[4]
print (title,href,date)
　　
　　4.Xpath 应用实例
　　XPath 是一种用于在 XML 文档中查找信息的语言。 XPath 可用于遍历 XML 文档中的元素和属性。 XPath 是 W3C XSLT 标准的主要元素，XQuery 和 XPointer 都是基于 XPath 表达式构建的。
　　如何使用四个标签
　　from lxml import etree
html="""
test


NO.1
NO.2
NO.3


one
two

crossgate
pinggu
"""
#这里使用id属性来定位哪个div和ul被匹配 使用text()获取文本内容
selector=etree.HTML(html)
content=selector.xpath('//div[@id="content"]/ul[@id="ul"]/li/text()')
for i in content:
print (i)
　　
　　#这里使用//从全文中定位符合条件的a标签，使用“@标签属性”获取a便签的href属性值
con=selector.xpath('//a/@href')
for i in con:
print (i)
　　
　　#使用绝对路径 #使用相对路径定位 两者效果是一样的
con=selector.xpath('/html/body/div/a/@title')
print (len(con))
print (con[0],con[1])
　　
　　动态网页和静态网页的区别
　　来源百度：
　　静态网页的基本概述
　　静态网页的URL形式通常有.htm、.html、.shtml、.xml等后缀。静态网页一般是最简单的HTML网页。服务器端和客户端是一样的，没有脚本和小程序，所以不能移动。在HTML格式的网页上，还可以出现各种动态效果，如.GIF格式动画、FLASH、滚动字母等。这些“动态效果”只是视觉效果，与下面介绍的动态网页是不同的概念。 .
　　静态网页的特点
　　动态网页的基本概述
　　动态网页后缀为.asp、.jsp、.php、.perl、.cgi等形式，并且有一个符号——“？”在动态网页网址中。动态网页与网页上的各种动画、滚动字幕等视觉“动态效果”没有直接关系。动态网页也可以是纯文本内容或收录各种动画内容。这些仅针对网页的特定内容。表现形式，无论网页是否有动态效果，通过动态网站技术生成的网页都称为动态网页。动态网站也可以采用动静结合的原则。使用动态网页的地方适合使用动态网页。如果需要静态网页，可以考虑使用静态网页。在同一个网站上，动态网页内容和静态网页内容同时存在也很常见。
　　动态网页应具备以下特点：
　　总结：网页内容变了，网址也会跟着变化。基本上就是静态网页，否则就是动态网页。
　　动态网页和静态网页的抓取
　　1.静态网页
　　import requests
from bs4 import BeautifulSoup
url = "http://www.cwestc.com/MroeNews.aspx?gd=1"
html = requests.get(url)
soup = BeautifulSoup(html.text,"lxml")
soup.text[1900:2000]
　　
　　import requests
from bs4 import BeautifulSoup
url = "http://www.cwestc.com/MroeNews.aspx?gd=2"
html = requests.get(url)
soup = BeautifulSoup(html.text,"lxml")
soup.text[1900:2000]
　　
　　总结：上面两个url的区别是最后一个数字。在原创网页上的每个点，下一页的 URL 和内容同时更改。我们判断：该网页为静态网页。
　　2.动态网页
　　import requests
from bs4 import BeautifulSoup
url = "http://news.cqcoal.com/blank/nl.jsp?tid=238"
html = requests.get(url)
soup = BeautifulSoup(html.text,"lxml")
soup.text
　　
　　
　　如果您抓取网页，则看不到任何证明是动态网页的信息。正确的爬取方法如下。
　　
　　import urllib
import urllib.request
import requests
url = "http://news.cqcoal.com/manage/ ... ot%3B
post_param = {'pageNum':'1',\
'pageSize':'20',\
'jsonStr':'{"typeid":"238"}'}
return_data = requests.post(url,data =post_param)
content=return_data.text
content
　　 查看全部

　　抓取网页数据php(Python中read_html同样提供快捷表格提取需求(图))
　　爬取数据时，很大一部分需求是爬取网络上的关系表。
　　对于表格，R语言和Python都封装了抓取表格的快捷函数。 R语言XML包中的readHTMLTables函数封装了提取HTML嵌入表格的功能，而rvest包的read_table()函数也可以提供快速的表格提取需求。 Python read_html还提供了直接从HTML中提取关系表的功能。
　　HTML 语法中嵌入的表格有两种，一种是表格，就是通常意义上的表格，另一种是列表，可以理解为列表，但是浏览器渲染出来的网页来自一个角度来看，两者很难区分，因为在效果上几乎没有区别，但是通过开发者工具的后台代码界面，table和list是两个完全不同的HTML元素。
　　上面提到的函数是针对HTML文档中的不同标签设计的，所以如果你不加区分地使用这些函数来提取表格，对于那些你认为是表格但实际上是列表的人来说很可能是无效的。 .
　　library("RCurl")
library("XML")
library("magrittr")
library("rvest")
　　对于 XML 包，有三种提取 HTML 元素的快捷函数。它们用于 HTML 表格元素、列表元素和链接元素。这些快捷功能都是：
　　readHTMLTable() #获取网页表格
readHTMLList() #获取网页列表
getHTMLlinks() #从HTML网页获取链接
　　读取HTML表格
　　readHTMLTable(doc,header=TRUE)
#the HTML document which can be a file name or a URL or an
#already parsed HTMLInternalDocument, or an HTML node of class
#XMLInternalElementNode, or a character vector containing the HTML
#content to parse and process.
　　此功能支持的 HTML 文档格式非常广泛。 doc 可以是 url 链接、本地 html 文档、已解析的 HTMLInternalDocument 组件或提取的 HTML 节点，甚至可以是收录 HTML 语法元素的字符串向量。
　　以下是一个案例。也是我自学爬行的时候爬的一个网页。以后可能会有改版。很多朋友爬不出来那些代码，问我这是怎么回事。我已经尝试了以下但我没有工作。我今天借此机会重新整理了一下思路。
　　大连市2016年空气质量数据可视化~
　　
　　URL% xml2::url_escape(reserved ="][!$&'()*+,;=:/?@#")
####
关于网址转码，如果你不想使用函数进行编码转换，
可以通过在线转码平台转码后赋值黏贴使用，但是这不是一个好习惯，
在封装程序代码时无法自动化。
#http://tool.oschina.net/encode?type=4
#R语言自带的转码函数URLencode()转码与浏览器转码结果不一致，
所以我找了很多资料，在xml2包里找打了rvest包的url转码函数，
稍微做了修改，现在这个函数你可以放心使用了！（注意里面的保留字）
###
mydata% html_table(header=TRUE) %>% `[[`(1)
#关闭remoteDriver对象
remDr$close()
　　
　　上面两个是等价的，我们得到了完全一样的表数据，数据预览如下：
　　DT::datatable(mytable)
　　readHTMLTable 函数和 rvest 函数中的 html_table 可以读取 HTML 文档中嵌入的表格。它们是非常优秀的高级包解析器，但并不意味着它们无所不能。
　　毕竟，聪明的女人做饭没有米饭是很难的。首先，我们需要得到米饭来做饭，所以在读取表格时，最好的方式是使用请求库请求（RCurl 或 httr），然后使用 readHTMLTable 请求返回的 HTML 文档。函数或者html_table函数来提取表格，否则会适得其反。在今天的情况下，很明显浏览器渲染后可以看到完整的表格，然后后台抓取就没有内容了，也没有提供API访问，也无法获取。对于完整的 html 文档，您应该考虑任何数据隐藏设置。
　　可以看到这个技巧。既然浏览器可以解析出来，那我就驱动浏览器去获取解析出来的HTML文档，返回解析出来的HTML文档。接下来的工作就是使用这些高级函数来提取嵌入的表。
　　那么selenium服务器+plantomjs无头浏览器为我们做了什么？其实只做了一件事——帮助我们做一个真实的浏览器请求，这个请求是由plantomjs无头浏览器完成的，是的，它帮助我们传输渲染的完整HTML文档，这样我们就可以使用readHTMLTable函数或者read_table( )
　　在 XML 包中，还有另外两个非常有用的高级打包功能：
　　一个用于获取链接，一个用于获取列表。
　　读取HTML列表
　　获取HTML链接
　　/空气/
　　我随便找了一个天气网站首页，里面有全国各大城市的空气指数数据。这似乎是一张表，但不一定是真的。我们可以使用现有的表函数来试一试。
　　url% readHTMLTable(header=TRUE)
mylist < url %>% read_html(encoding ="gbk") %>% html_table(header=TRUE) %>% `[[`(1)
NULL
　　使用上述代码捕获的内容为空。有两个原因。一是html中的标签根本就不是表格格式，也可能是列表。在另一种情况下，表数据像前面的示例一样隐藏。看源码就知道，这一段其实是存放在list unordered list中的，所以用readtable肯定不行。现在是 readHTMLList 函数大显身手的时候了。
　　header% readHTMLList() %>% `[[`(4) %>% .[2:length(.)]
mylist % html_nodes(".thead li") %>% html_text() %>% `[[`(4) %>% .[2:length(.)]
mylist % htmlParse() %>% readHTMLList() %>% `[[`(4)
　　虽然成功获得了结果，但遇到了一个令人作呕的编码问题。我不想与各种编码作斗争。我再次使用了phantomjs无头浏览器。毕竟作为浏览器，它总是可以正确解析和渲染。网页内容，无论 HTML 文档的编码声明多么糟糕！
　　#cd D:\
#java -jar selenium-server-standalone-3.3.1.jar
#创建一个remoteDriver对象，并打开
library("RSelenium")
remDr % readHTMLList() %>% `[[`(8) %>% .[2:length(.)]
#关闭remoteDriver对象
remDr$close()
　　这次我终于看到了希望。果然，plantomjs浏览器的渲染效果非同凡响！
　　使用 str_extract() 函数提取城市 id、城市名称、城市污染物指数和污染状况。
　　library("stringr")
pattern% do.call(rbind,.) %>% .[,1] %>% str_extract("\\d{1,}"),
City = mylist %>% str_extract_all(pattern) %>% do.call(rbind,.) %>% .[,1] %>% str_extract("[\\u4e00-\\u9fa5]{1,}"),
AQI = mylist %>% str_extract_all(pattern) %>% do.call(rbind,.) %>% .[,2] %>% str_extract("\\d{1,}"),
Quity= mylist %>% str_extract_all(pattern) %>% do.call(rbind,.) %>% .[,2] %>% str_extract("[\\u4e00-\\u9fa5]{1,}")
)
DT::datatable(mylist)
　　
　　
　　最后一个函数是抓取URL链接的高级封装函数，因为在html中，URL标签一般是比较固定的，重定向的URL链接一般在标签的href属性中，图片链接一般在
　　在标签下的src属性中，最好定位。
　　找个知乎摄影贴，高清图多的那种！
　　
　　url% getHTMLLinks()
[1] "/" "/" "/explore"
[4] "/topic" "/topic/19551388" "/topic/19555444"
[7] "/topic/19559348" "/topic/19569883" "/topic/19626553"
[10] "/people/geng-da-shan-ren" "/people/geng-da-shan-ren" "/question/35017762/answer/240404907"
[13] "/people/he-xiao-pang-zi-30" "/people/he-xiao-pang-zi-30" "/question/35017762/answer/209942092"
　　getHTMLLinks(doc, externalOnly = TRUE, xpQuery = "//a/@href",baseURL = docName(doc), relative = FALSE)
　　从getHTMLLinks的源码可以看出，这个函数过滤的链接条件只有标签下href属性中的链接。我们可以通过修改xpQuery中的apath表达式参数来获取图片链接。
　　mylink % htmlParse() %>% getHTMLLinks(xpQuery = "//img/@data-original")
　　
　　这样就可以轻松获取知乎摄影贴高清图片的所有原创地址，效率高很多。
　　蟒蛇：
　　如果不需要python中的爬虫工具，我目前知道的表提取工具是pandas中的read_html函数，相当于一个I/O函数（与read_csv、read_table等其他函数相同） ，和 read_xlsx）。同样适用于上述R语言中第一种情况的天气数据。直接使用pd.read_html函数无法获取表格数据。原因是一样的。 html文档中有数据隐藏设置。
　　import pandas as pd
url="https://www.aqistudy.cn/histor ... ot%3B
dfs = pd.read_html(url)
　　
　　这里我们也使用Python中的selenium+plantomjs工具来请求网页。获取完整的源文档后，使用pd.read_html函数提取出来。
　　from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get(&#39;https://www.aqistudy.cn/histor ... %2339;)
dfs = pd.read_html(driver.page_source,header=0)[0]
driver.quit()
　　
　　
　　好吧，它不可能是完美的。对于网页表格数据，pd.read_html函数是一个非常高效的包，但前提是你要保证这个网页中的数据确实是表格格式，网页什么都不做。隐藏措施。
　　在线课程请点击文末原文链接：
　　Hellobi 直播 | 9月12日R语言可视化在业务场景中的应用
　　过去的案例数据，请移至我的GitHub：
　　/ljtyduyu/DataWarehouse/tree/master/File 查看全部

　　抓取网页数据php(Twitter曾经用过的方式：对于google会到抓取内容的事情)
　　一、Twitter 使用的方式：
　　为了
　　twitter.com/#!/abcde
　　Google 将到达
　　twitter.com/?_escaped_fragment_=abcde
　　获取内容。在这里直接输出你的 Ajax 内容，Google 会收录。但是你必须为Ajax内容编写另一个api供搜索引擎使用，你展示给搜索引擎的链接也必须变成上面的形式。 . .
　　参考：网站管理员和开发者的 AJAX 抓取指南
　　二、noscript 标签
　　对于 /1、/2 ....
　　服务器做了什么：根据编号获取对应的内容，写入noscript标签，用一段js输出。
　　浏览器的作用：执行接收到的js，获取noscript标签中的内容，并为jQuery处理。
　　三、如果是不能刷新的单页，需要完整的ajax操作
　　使用History API，链接仍然是/1、/2的形式。 js基于数字ajax获取内容。但是还有一个步骤是将用户点击的 URL 推送到列表中
　　此后，如果有前进后退按钮操作，浏览器会从列表中选择URL动态改变当前地址栏，并触发popstate事件，写一个js来监听这个事件
　　window.addEventListener(&#39;popstate&#39;, function(e) { ajax(location.url); });
　　当然，ajax返回的时候还是要带noscript标签，里面塞内容。上面画一个大圈的目的就是不刷新页面。
　　参考资料： 查看全部