php抓取网页json数据(什么是AJAX（AsynchronouseJavaScript）异步JavaScript和XML的区别)

　　php抓取网页json数据(什么是AJAX（AsynchronouseJavaScript）异步JavaScript和XML的区别)

　　什么是 AJAX：

　　AJAX（异步 JavaScript 和 XML）异步 JavaScript 和 XML。Ajax 可以通过在后台与服务器交换少量数据来异步更新网页。这意味着可以在不重新加载整个页面的情况下更新页面的某些部分。如果内容需要更新，传统网页（不使用 Ajax）必须重新加载整个网页。因为传输数据的传统格式是使用 所谓的 AJAX ，其实数据交互基本上是使用JSON 。AJAX加载的数据，即使使用JS，数据也会渲染到浏览器中。右键-> 查看网页源代码。还是看不到通过ajax加载的数据，只能看到使用这个url加载的数据。html代码。

　　ajax数据获取方式：直接分析ajax调用的接口。然后通过代码请求这个接口。使用 Selenium+chromedriver 模拟浏览器行为获取数据。

　　大大地

　　优势

　　缺点

　　分析界面

　　可以直接请求数据。不需要解析工作。代码量小，性能高。

　　解析接口比较复杂，尤其是一些被js搞糊涂的接口，一定要有一定的js知识。很容易被发现为爬行动物。

　　硒

　　直接模拟浏览器行为。浏览器可以请求的内容也可以使用 selenium 来请求。爬行动物更稳定。

　　很多代码。性能低下。

　　Selenium+chromedriver 获取动态数据：

　　Selenium 就相当于一个机器人。它可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击、填充数据、删除cookies等。 chromedriver浏览器，您可以使用它来驱动浏览器。当然，不同的浏览器有不同的驱动程序。下面列出了不同的浏览器及其相应的驱动程序：

　　更多Pycharm激活码教程讲解请看：

　　Chrome： Firefox： Edge： Safari： 安装Selenium和chromedriver：安装 Selenium ： Selenium 者的了吗？ java、ruby、python等，我们可以下载python版本。pip install selenium install chromedriver ：下载完成后，放到一个不需要权限的纯英文目录下。快速开始：

　　下面以一个简单的获取百度主页的例子来谈谈如何快速上手 Selenium 和 chromedriver：

　　from selenium import webdriver

# chromedriver的绝对路径

driver_path = r'D:\ProgramApp\chromedriver\chromedriver.exe'

# 初始化一个driver，并且指定chromedriver的路径

driver = webdriver.Chrome(executable_path=driver_path)

# 请求网页

driver.get("https://www.baidu.com/")

# 通过page_source获取网页源代码

print(driver.page_source)

　　selenium的常用操作：

　　更多教程请参考：

　　关闭页面： driver.close() ：关闭当前页面。driver.quit() ：退出整个浏览器。定位元素： find_element_by_id ：通过id查找元素。等价于： submitTag = driver.find_element_by_id('su') submitTag1 = driver.find_element(By.ID,'su') find_element_by_class_name ：按类名查找元素。等价于： submitTag = driver.find_element_by_class_name('su') submitTag1 = driver.find_element(By.CLASS_NAME,'su') find_element_by_name ：根据name属性的值查找元素。等价于： submitTag = driver.find_element_by_name('email') submitTag1 = driver.find_element(By.NAME,'email') find_element_by_tag_name ：按标签名称查找元素。等价于： submitTag = driver.find_element_by_tag_name('div') submitTag1 = driver.find_element(By. TAG_NAME,'div') find_element_by_xpath ：根据xpath语法获取元素。相当于： submitTag = driver.find_element_by_xpath('//div') submitTag1 = driver.find_element(By.XPATH,'//div' )find_element_by_css_selector：根据css选择器选择元素。相当于：

　　submitTag = driver.find_element_by_css_selector('/​​/div') submitTag1 = driver.find_element(By.CSS_SELECTOR,'//div')

　　需要注意的是find_element是获取第一个满足条件的元素。find_elements 是获取所有满足条件的元素。操作表单元素： 操作输入框：有两个步骤。第一步：找到元素。第 2 步：使用 send_keys(value) 填写数据。示例代码如下：

　　inputTag = driver.find_element_by_id('kw') inputTag.send_keys('python')

　　使用 clear 方法清除输入框的内容。示例代码如下：

　　inputTag.clear() 操作checkbox：因为checkbox标签是要被选中的，所以在网页中是用鼠标点击的。所以如果要选中checkbox标签，先选中标签，然后执行click事件。示例代码如下：

　　rememberTag = driver.find_element_by_name("rememberMe") rememberTag.click() select select：选择元素不能直接点击。因为点击后需要选择元素。这时，selenium 提供了一个类 selenium.webdriver.support.ui.Select 专门用于 select 标签。将获取的元素作为参数传递给此类以创建此对象。您可以稍后使用此对象进行选择。示例代码如下：

　　from selenium.webdriver.support.ui import Select # 选择这个标签，然后使用Select创建一个对象 selectTag = Select(driver.find_element_by_name("jumpMenu")) # 按索引选择 selectTag.select_by_index(1) # 选择by value selectTag.select_by_value("") # 根据可见文本选择 selectTag.select_by_visible_text("95 Show Client") # 取消所有选项 selectTag.deselect_all() 操作按钮：操作按钮的方法有很多种，例如，点击、右键、双击等，这里是最常用的一种，就是点击，直接调用点击函数即可，示例代码如下：

　　inputTag = driver.find_element_by_id('su') inputTag.click() 行为链：

　　有时候页面上的操作可能会有很多步骤，那么可以使用鼠标动作链类ActionChains来完成。例如，现在您想将鼠标移到一个元素上并执行一个单击事件。那么示例代码如下：

　　inputTag = driver.find_element_by_id('kw')

submitTag = driver.find_element_by_id('su')

actions = ActionChains(driver)

actions.move_to_element(inputTag)

actions.send_keys_to_element(inputTag,'python')

actions.move_to_element(submitTag)

actions.click(submitTag)

actions.perform()

　　还有更多与鼠标相关的操作。

　　cookie操作：获取所有cookies ：对于driver.get_cookies()中的cookie:print(cookie)根据cookie获取值key：value = driver.get_cookie(key)删除所有cookies：driver.delete_all_cookies()删除一个cookie : driver.delete_cookie(key) 页面等待：

　　今天的网页越来越多地使用 Ajax 技术，因此程序无法确定元素何时完全加载。如果实际页面等待的时间过长，一个dom元素还没有出来，但是你的代码直接使用了这个WebElement，就会抛出NullPointer异常。来解决这个问题。所以 Selenium 提供了两种等待方式：一种是隐式等待，另一种是显式等待。

　　隐式等待：调用 driver.implicitly_wait。然后它将等待 10 秒，然后再获取不可用的元素。示例代码如下：

　　driver = webdriver.Chrome(executable_path=driver_path)driver.implicitly_wait(10)#请求网页 driver.get("") 显示等待：显示等待是指在执行获取元素的操作之前建立了一定的条件. 也可以指定等待的最长时间，如果超过这个时间就抛出异常。显示等待应该使用 selenium.webdriver.support.excepted_conditions 和 selenium.webdriver.support.ui.WebDriverWait 期望的条件来完成。示例代码如下：

　　from selenium import webdriver from mon.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Firefox() driver.get("") try:element = WebDriverWait( driver, 10).until(EC.presence_of_element_located((By.ID, "myDynamicElement"))) finally: driver.quit() 其他一些等待条件：切换页面：

　　有时窗口中有很多子标签页。肯定是时候换了。selenium 示例代码如下：

　　# 打开一个新的页面

self.driver.execute_script("window.open('"+url+"')")

# 切换到这个新的页面中

self.driver.switch_to_window(self.driver.window_handles[1])

　　设置代理ip：

　　有时某些网页被频繁爬取。服务器发现你是爬虫后，会屏蔽你的IP地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现。以下是 Chrome 浏览器的示例：

　　from selenium import webdriver

options = webdriver.ChromeOptions()

options.add_argument("--proxy-server=http://110.73.2.248:8123")

driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe"

driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options)

driver.get('http://httpbin.org/ip')

PYTHON 复制 全屏

　　WebElement 元素：

　　from selenium.webdriver.remote.webelement import WebElement 类是每个检索到的元素所属的类。

　　有一些常用的属性：

　　get_attribute：这个标签的一个属性的值。screenshot：获取当前页面的截图。此方法只能在驱动程序上使用。

　　驱动的对象类也是继承自WebElement。

　　更多内容请阅读相关源码。