java爬虫抓取动态网页(什么是Ajax：Ajax（AsynchronouseJavaScript）异步JavaScript和chromedriver)

　　java爬虫抓取动态网页(什么是Ajax：Ajax（AsynchronouseJavaScript）异步JavaScript和chromedriver)

　　什么是Ajax：

　　Ajax（异步JavaScript和XML）异步JavaScript和XML。Ajax可以通过在后台与服务器交换少量数据来实现web页面的异步更新。这意味着可以在不重新加载整个网页的情况下更新网页的一部分。如果需要更新内容，传统web页面（没有Ajax）必须重新加载整个web页面。因为传统的传输数据格式使用XML语法。因此，它被称为Ajax。事实上，现在数据交互基本上使用JSON。使用Ajax加载的数据，即使使用了JS，也会呈现到浏览器中。右键单击-&gt；查看网页源代码时，仍然无法看到通过Ajax加载的数据。您只能看到使用此URL加载的HTML代码

　　如何获取ajax数据：

　　1、直接分析Ajax调用的接口。然后通过代码请求这个接口

　　2、使用selenium+chromedriver模拟浏览器行为并获取数据

　　

　　Selenium+chromedriver可获得动态数据：

　　硒是一个机器人。它可以模拟浏览器上的一些人类行为，并自动处理浏览器上的一些行为，如单击、填充数据、删除cookie等。Chromedriver是Chrome浏览器的驱动程序。只有使用它才能驱动浏览器。当然，不同的浏览器有不同的驱动程序。下面列出了不同的浏览器及其相应的驱动程序：

　　1、Chrome：/a//chromedriver/下载

　　2、Firefox：/mozilla/geckodriver/releases

　　3、Edge：/en us/microsoft edge/tools/webdriver/

　　4、Safari：/blog/6900/webdriver-support-in-safari-10/

　　要安装selenium和chromedriver：

　　安装selenium:selenium有多种语言，包括Java、ruby、python等。我们可以下载python版本

　　pip安装selenium

　　安装chromedriver：下载后，未经许可将其放入纯英文目录

　　快速启动：

　　现在让我们举一个简单的例子，让百度的主页告诉你如何快速启动硒和ChrimEdvor：

　　

　　Selenium常见操作：

　　关闭页面：

　　1、driver.close（）：关闭当前页面

　　2、driver.quit（）：退出整个浏览器

　　定位元素：

　　

　　请注意，find_u元素是满足条件的第一个元素。find_u元素是获取所有满足条件的元素

　　作为表单元素：

　　1、操作输入框：分为两步。步骤1：找到这个元素。步骤2：使用发送键（值）填写数据。示例代码如下所示：

　　inputTag=driver.find u元素uu按u id（'kw'）查找

　　inputTag.send ukeys（'python'））

　　使用“清除”方法清除输入框的内容。示例代码如下所示：

　　输入ag.clear（）

　　2、operate checkbox：因为要选择复选框选项卡，请在网页中单击它。因此，如果要选择复选框标记，请先选择标记，然后执行click事件。示例代码如下所示：

　　rememberTag=driver.find uu元素uu按名称（“rememberMe”）

　　记住标记。单击（）

　　3、select:无法直接单击选择元素。因为您需要在单击后选择图元。此时，selenium为select标记提供了一个类selenium.webdriver.support.ui.select。将获取的元素作为参数传递给此类以创建此对象。以后可以使用此对象进行选择。示例代码如下所示：

　　

　　4、操作按钮：有多种方式操作按钮。例如，单击、右键单击、双击等。这里是最常用的方法之一。点击一下。直接调用click函数即可。示例代码如下所示：

　　inputTag=driver.find u元素uu按id（'su'）查找

　　输入ag。单击（）行为链：

　　有时，页面中的操作可能有许多步骤，因此您可以使用鼠标行为链类actionchains来完成它。例如，现在您希望将鼠标移动到元素上并执行单击事件。示例代码如下所示：

　　

　　还有更多与鼠标相关的操作

　　1、click_按住（元素）：单击但不要释放鼠标

　　2、context_单击（图元）：单击鼠标右键

　　3、double_单击（图元）：双击。有关更多方法，请参阅selenium-python.readthedocs.io/api.html

　　Cookie操作：

　　获取所有cookies：

　　对于driver.get\cookies（）中的cookie：

　　打印（cookie）

　　根据cookie的键获取值：

　　value=driver.get uuCookie（键）

　　删除所有cookie：

　　driver.delete uu所有uu cookies（）

　　删除cookie：

　　driver.delete\ucookie（密钥）

　　页面等待：

　　现在越来越多的网页使用ajax技术，因此程序无法确定元素何时完全加载。如果实际的页面等待时间太长，导致DOM元素无法出现，但您的代码直接使用此webelement，它将抛出空指针异常。解决这个问题。因此，selenium提供了两种等待方法：隐式等待和显式等待

　　隐式等待：调用driver.implicitly uuwait。然后它将等待10秒钟，然后才能获取不可用的元素。示例代码如下所示：

　　

　　显示等待：显示等待指示仅在建立条件后执行获取元素的操作。您还可以指定等待的最长时间。如果超过此时间，将引发异常。显示等待应使用selenium.webdriver.support.excluded uu条件预期条件和selenium.webdriver.support.ui.webdriverwait一起完成。示例代码如下所示：

　　

　　其他一些等候条件：

　　1、presence_元素的位置：元素已加载

　　2、presence_位于的所有元素中：已加载网页中所有符合条件的元素

　　3、element_可点击：可以点击元素

　　切换页面：

　　有时窗口中有许多子选项卡页。此时必须切换。Selenium提供了一个名为“切换到”的窗口。您可以从句柄中的driver.window切换到哪个页面。示例代码如下所示：

　　self.driver.switch_uuu到uu窗口（self.driver.window_u句柄[1]）

　　设置代理IP:

　　有时我经常抓取一些网页。当服务器发现您是爬虫程序时，它将阻止您的IP地址。此时，我们可以更改代理IP。改变代理IP，不同的浏览器有不同的实现方法。这里，以Chrome浏览器为例说明：

　　

　　Webelement元素：

　　从selenium.webdriver.remote.webelement导入webelement类是每个获取的元素所属的类

　　有一些共同的属性：

　　1、get_属性：此标记的属性值

　　2、screentshot：获取当前页面的屏幕截图。此方法只能在驱动程序上使用

　　驱动程序的对象类也继承自webelement