php抓取网页json数据(【每日一题】感兴趣（）示例代码示例)
　　本文文章介绍如何使用php查询数据库返回的json数据。内容非常详细。有兴趣的朋友可以参考一下。
　　示例代码一：
　　// 设置返回json格式数据
header('content-type:application/json;charset=utf8');
//连接数据库
$link = mysql_connect("localhost", "root", "root") or die("Unable to connect to the MySQL!");
mysql_query("SET NAMES 'UTF8'");
mysql_select_db("jilinwula", $link) or die("Unable to connect to the MySQL!");
// 获取分页参数
$page = 0 ;
$pageSize = 3;
if(!is_null($_GET["page"])) {
$page = $_GET["page"];
}
if(!is_null($_GET["pageSize"])) {
$pageSize = $_GET["pageSize"];
}
// 查询数据到数组中
$result = mysql_query("select username,password from userinfo limit " . $page . ", ". $pageSize ."");
$results = array();
while ($row = mysql_fetch_assoc($result)) {
$results[] = $row;
}
// 将数组转成json格式
echo json_encode($results);
// 关闭连接
mysql_free_result($result);
mysql_close($link);
　　示例代码2：
　　这里分享如何使用php查询数据库返回的json数据。希望以上内容能对你有所帮助，让你学习到更多的知识。如果你觉得文章不错，可以分享给更多人看到。 查看全部

　　php抓取网页json数据(如下PHP返回简单的json数据的代码实例：把要传递的数据放在一个关联数组中)
　　PHP返回的JSON数据既可以与网页交互，也可以与Android端交互。因此，对于 PHP 来说，返回 JSON 数据是比较重要的。最近在做项目的时候，曾经返回JSON数据与Android端进行交互。总结如下：
　　1.PHP返回简单json数据代码示例：
　　$array = array('username'=>'博客', 'password'=>'123456',);
echo json_encode($array);
　　将要传递的数据放在一个关联数组中，然后通过json_encode()函数传递给Android或者网页。
　　Android端接收json数据的核心代码：
　　StringBuilder builder = new StringBuilder();
HttpGet myget = new HttpGet("http://127.0.0.1/Android/index.php");
JSONObject jsonObject = new JSONObject(builder.toString());
String re_username = jsonObject.getString("username");
String re_password = jsonObject.getString("password");
　　2.从数据库中获取多组数据并返回json数据示例：
　　 $getmsg = mysql_query("SELECT username,content FROM message ORDER BY id desc",$con);
$msg = array();
$i = 0;
while ($row = mysql_fetch_assoc($getmsg))
{
$msg[$i] = $row;
$i++;
}
print json_encode($msg);
　　但是如果数据库中的结果收录中文，那么json_encode()函数会对这些中文进行编码并返回，那么接收到的中文就是编码后的中文，会变成像\5HF这样的Unicode码，那我们怎么做正确显示中文？这个需要先对中文进行urlencode编码，再json_encode编码，接收后再进行urlencode编码，保证中文不显示的问题，可以封装成一个函数：
　　 function arrayRecursive(&$array, $function, $apply_to_keys_also = false)
{
static $recursive_counter = 0;
if (++$recursive_counter > 1000)
{
die('possible deep recursion attack');
}
foreach ($array as $key => $value)
{
if (is_array($value))
{
arrayRecursive($array[$key], $function, $apply_to_keys_also);
}
else
{
$array[$key] = $function($value);
}
if ($apply_to_keys_also && is_string($key))
{
$new_key = $function($key);
if ($new_key != $key)
{
$array[$new_key] = $array[$key];
unset($array[$key]);
}
}
}
$recursive_counter--;
}
　　然后使用这个函数对数组进行操作：
　　 function json1($array)
{
arrayRecursive($array, 'urlencode', true);
$json = json_encode($array);
return urldecode($json);
}
　　那么从上面的数据库中取出的$msg就可以放在这个函数中，传递给Android端了：
　　 print json1($msg);
　　这样就解决了中文编码的问题。 （注意页面和数据库端中文的编码应该是utf-8）
　　我的经验仅供参考！ 查看全部

　　php抓取网页json数据(自学前端开发之js获取接口数据的方法及应用方法（一）)
　　前言：自学前端开发，一直想研究js获取html中接口数据的实现，成功找到了获取数据的方法，但是有些接口在调用过程中无法显示数据。经过排查，发现是跨域的问题，为了以后童鞋们的方便，花了一点时间把过程记录在一篇文章中。欢迎指正。
　　文本：
　　一、如何使用js获取接口数据
　　①$get(url,[数据],[回调])
　　url：请求的地址；data：请求的数据列表；callback：请求成功后的回调函数，该函数接受两个参数，第一个是服务器返回的数据，第二个是服务器的状态，是可选参数。
　　服务端返回的数据格式其实是字符串的形式，并不是我们想要的JSON数据格式。上例：
　　var url3 = '#39;;
　　$.get(url3,函数(数据){
　　警报（数据）；
　　});
　　这时候如果用json来解析数据为data，得到的值是undefined。所以我们使用这个get方法获取的值是JSON格式的，我们需要将获取的数据类型定义为json格式，如上例：
　　var url3 = '#39;;
　　$.get(url3,函数(数据){
　　$('#result').append('
　　间隔：'+data.name+'
　　') //此时返回的是JSON格式的内容，例如：我们可以使用data.name获取name字段的值并输出。
　　}, 'json');
　　②$post(url,[数据],[回调],[类型])
　　post方法中多了一种类型：获取的数据的类型格式。其实post的使用方式和get是一样的。类型未定义，返回的字符串类型定义为json格式。返回的数据是json格式的，这里你可以按照上面的get方法，把get改成post就大功告成了，我就不多说了。
　　③$ajax(选项)
　　ajax功能比较强大。可以查看相关资料了解()，可以进行很多精准控制。这是一个例子：
　　$.ajax({
　　网址：网址，
　　数据：{完整：“fu”}，
　　类型：“发布”，
　　数据类型：'json'，
　　成功：功能（数据）{
　　$('#result').append('
　　间隔：'+data.interval+'
　　')
　　//警报（“22”）；
　　},
　　错误：函数（呃）{
　　//警报（“11”）；
　　BackErr(er);
　　}
　　});
　　④$getJSON(url,[数据],[回调])
　　这里的参数和get方法一样，直接上例子：
　　$.getJSON(url,函数(数据){
　　警报（数据。名称）；
　　});
　　以上类型在访问接口时都没有参数，所以我省略了参数[data]。如果有参数，格式为：
　　{
　　id : '罗宾',
　　密码：'123456',
　　门：'索引'
　　}
　　二、解决跨域问题
　　在使用上述方法获取界面数据的过程中，我们突然发现有些界面无法显示数据。
　　
　　这里我们使用设置Access-Control-Allow-Origin来实现跨域访问。
　　收录在请求的响应标头中
　　// 指定允许其他域名访问
　　header('Access-Control-Allow-Origin:*');
　　// 响应类型
　　header('Access-Control-Allow-Methods:POST');
　　//响应头设置
　　header('Access-Control-Allow-Headers:x-requested-with,content-type');
　　这样就可以实现ajax的跨域访问了。
　　在此处粘贴示例代码以帮助您入门，例如 HTML 代码：
　　php代码：
　　这里的Access-Control-Allow-Origin:*表示允许任何域名跨域访问。
　　如果需要指定域名允许跨域访问，只需将 Access-Control-Allow-Origin:* 改为 Access-Control-Allow-Origin: Allowed domain name
　　例如：header('Access-Control-Allow-Origin:');
　　如果需要设置多个域名允许访问，这里需要使用php处理
　　例如允许并且可以跨域访问 查看全部

　　php抓取网页json数据(PHP中JSON的应用总结PHP操作JSON可以使用_decode数组)
　　序列化序列化
　　在一些旧的WEB系统中，我们可能会看到一大串似乎有特殊含义的字符串文本内容存储在数据库或文本文件中。仔细看会发现，里面有数据类型、结构等信息，但是手动读取并不方便，只适合PHP程序读取。PHP 的 serialize 序列化并存储数组。假设我们有一个这样的数组：
　　$arr = array(
"0" => array(
"gameName" => "德乙",
"homeName" => "比勒费尔德",
"guestName" => "不伦瑞克",
"endTime" => "2015-08-21"
),
"1" => array(
"gameName" => "英超",
"homeName" => "水晶宫",
"guestName" => "阿斯顿维拉",
"endTime" => "2015-08-22"
)
);
　　我们希望将此数组的内容存储在数据库或文本文件中，以便在其他地方读取。
　　$serialize = serialize($arr);
echo $serialize;
　　我们使用PHP的serialize对数组进行序列化，输出如下结果：
　　a:2:{i:0;a:4:{s:8:"gameName";s:6:"德乙";s:8:"homeName";s:15:"比勒费尔德";s:9:"guestName";s:12:"不伦瑞克";s:7:"endTime";s:10:"2015-08-21";}i:1;a:4:{s:8:"gameName";s:6:"英超";s:8:"homeName";s:9:"水晶宫";s:9:"guestName";s:15:"阿斯顿维拉";s:7:"endTime";s:10:"2015-08-22";}}
　　上面输出的结果看起来很复杂，其实很简单。它说明了一些数据类型和结构。
　　a:2 表示这是一个有两个元素的数组；
　　i:0 指序列索引；
　　a:4 表示有 4 个字段
　　s:8:"gameName" 表示这是一个8个字符的字符串（字符串）
　　在实际开发中，我们只存储序列化后的数据，并不关心存储格式和字段含义。如果要将序列化的数据恢复到数组中，可以使用 unserialize() 函数。
　　print_r(unserialize($serialize));
　　上面的代码可以打印出数组。
　　JSON数据解析
　　我们知道 PHP 可以使用 json_encode() 和 json_decode() 两个函数来操作 JSON。json_encode()可以将数组转换成json格式的文本数据，方便存储和读取，而json_decode()可以直接将json数据转换成数组，方便调用。
　　$jsonencode = json_encode($arr);
echo $jsonencode;
　　输出：
　　[{"gameName":"\u5fb7\u4e59","homeName":"\u6bd4\u52d2\u8d39\u5c14\u5fb7","guestName":"\u4e0d\u4f26\u745e\u514b","endTime":"2015-08-21"},{"gameName":"\u82f1\u8d85","homeName":"\u6c34\u6676\u5bab","guestName":"\u963f\u65af\u987f\u7ef4\u62c9","endTime":"2015-08-22"}]
　　显然，使用 JSON 后，数据空间比 serialize 小。输出结果中的中文字符串被编码。仔细看，它们对应的是键值，便于人工识别。关键是JSON格式的数据，方便其他语言阅读识别。所以有人说它是 XML 的替代品。JSON格式的数据可以完成与WEB前端JS的异步交互过程。如果要将 json 还原为数组，可以使用 json_decode() 函数。
　　print_r(json_decode($jsonencode,true));
　　对JSON应用感兴趣的同学可以参考本站文章：JSON在PHP中的应用
　　总结
　　PHP的serialize对数组进行序列化，方便存储，JSON格式的数据不仅存储方便，还可以用javascript等其他语言读取。它们可能在性能上有细微的差别。如果前后端交互较多，推荐使用JSON。结合PHP、Javascript、JSON和Ajax可以完成强大的数据交互功能。 查看全部

　　php抓取网页json数据(PHP、java、javascript、python，python里重要的一部分)
　　除了C/C++，我还接触过很多流行的语言，比如PHP、java、javascript、python。其中，python可以说是操作最方便，缺点最少的语言。
　　前几天想写爬虫的，但是和朋友商量后，决定过几天一起写。爬虫的一个重要部分就是爬取页面中的链接，这里我就简单实现一下。
　　首先我们需要使用一个开源模块，requests。这不是python自带的模块，需要从网上下载解压安装：
　　$ curl -OL https://github.com/kennethreit ... aster
　　$ python setup.py install
　　Windows用户直接点击下载。解压后，使用命令 python setup.py install 在本地安装。
　　我也在慢慢翻译这个模块的文档，翻译完会上传给大家（英文版先在附件中发）。正如它的描述所说，为人类建造，为人类设计。使用起来很方便，自己看文档。最简单的，requests.get() 发送一个 get 请求。
　　代码显示如下：
<p># coding:utf-8
import re
import requests
# 获取网页内容
r = requests.get(&#x27;http://www.163.com&#x27;)
data = r.text
# 利用正则查找所有连接
link_list =re.findall(r"(? 查看全部

　　php抓取网页json数据(该如何在浏览器里调试JS代码/方法【方法】)
　　本教程适用
　　操作步骤/方法【方法一】步骤一，1.首先，我们先用HTML写一段ajax请求代码。代码使用了Jquery的ajax方式，所以我们需要先引入Jquery插件。第二步，示例代码中页面加载时调用ajax_action方法。第三步，2.然后定义ajax_action方法的逻辑，如图，这个方法主要是发送ajax请求，当获取到数据后，将数据输出到浏览器控制台，断点为添加。 Step 4，（如何在浏览器中调试JS代码，可以参考下面的链接） Step 5，2如何调试JavaScript？第六步，3. 然后用PHP代码返回JSON数据。第七步，返回json数据，我们先将header设置为json类型：Content-type:text/json，然后通过json_encode方法将返回的数据转换成json字符串，最后通过echo输出字符串。代码如图所示。第八步，4.运行页面，我们在ajax获取返回数据时进入断点，可以看到ajax请求获取的数据现在是json格式。第九步，5.修改代码，在php中返回一个简单的数据数组，如图，查看客户端接收到的json数据是否正常。第十步，6.刷新页面，客户端获取的数据也是一个简单的数组。没有问题。第11步，7. 另外值得一提的是，在php代码中，我们其实并不需要设置header信息，也就是不需要代码header('Content-type:text/ json');.第12步，如果不设置这个，在ajax客户端也可以得到正确的数据，但是为了规范，我们最好加上这段代码告诉浏览器返回的信息是json中的文本信息格式。结束
　　点击查看更多 查看全部

　　php抓取网页json数据(有看过图解HTTP会用不同的方式传递参数总结)
　　今天前端和后端接口连接的时候，前端使用POST请求发送参数t[0][0] = 1，t[0][1] = 2，然后我在这里得到的是 string 的类型。
　　t[0][0] = "1"
t[0][1] = "2"
t = [["1"], ["2"]];
　　疑难解答
　　首先想检查一下是不是我把二维数组转成字符串的时候出错导致的，所以直接用了。
　　php -r "var_dump(json_encode([[1], [2]]));"
t = [[1], [2]];
　　结果表明它与我的字符串转换无关。然后我直接打印传过来的参数，确实是字符串[["1"],["2"]]。所以可以肯定前端确实是一个字符串。
　　知识储备
　　因为之前看过HTTP图，记得不同的content-type字段会导致HTTP以不同的方式传递参数。
　　
　　
　　
　　总结
　　从以上三个请求中，我们可以知道。只有application/json的形式我们会得到对应的type值，另外两个都是字符串的形式。
　　为什么会存在这个问题？这其实是因为第一个和第二个都是以字符串的形式传递的，但是没有类型规则限制，所以无法获取对应的字段但无法知道数据格式，因为获取到的都是字符格式。但是，使用 json 是不同的。json的格式限制字符串用双引号括起来，所以我们知道它是一个没有双引号的数字类型。 查看全部

　　php抓取网页json数据(Ajax与后台php页面进行交互的时候都碰到过中文乱码问题)
　　相信很多人在使用Ajax与后台php页面交互的时候都遇到过中文乱码的问题。 JSON作为一种轻量级的数据交换格式非常流行，但是使用PHP作为后台交互容易出现中文乱码的问题。 JSON和js一样，客户端的字符都是以UTF8的形式处理的，也就是说，当使用JSON作为提交和接收的数据格式时，字符都是以UTF8编码处理的。当我们的页面编码和数据库编码没有使用UTF8的时候，很容易出现中文乱码的问题。解决办法自然是在用js或者PHP处理JSON数据的时候使用UTF8。
　　PHP5.2及以上版本使用json_encode作为内置函数，给网站生产者带来了极大的方便，但要注意json_encode只支持UTF8编码的字符，否则会出现中文乱码字符或空值会出现。解决方案分为以下两步。
　　第 1 步确保在使用 JSON 处理时字符以 UTF8 编码。具体来说，我们可以将数据库编码和页面编码改为UTF8。当然，如果你喜欢使用 gbk 编码，你可以在处理 JSON 之前将字符转换为 UTF8。 PHP中有以下几种方法： Step2 PHP后台页面（页面编码为UTF-8或字符已转换为UTF-8） 使用json_encode将PHP中的array数组转换为JSON字符串，例如：查看输出结果对于：
　　{“名称”:”\u4e2d\u6587\u5b57\u7b26\u4e32”,”值”:”测试”}
　　可以看出，即使是UTF8编码的字符，在使用json_encode时也会出现中文乱码。解决方法是先使用函数urlencode()处理字符，再使用json_encode，再使用json_encode，输出结果时使用函数urldecode()返回结果。具体如下： 查看输出结果为：
　　{"name":"中文字符串","value":"test"}
　　至此，汉字输出成功。随意使用 json_encode。这样在前台javascript中Ajax接收到eval后，PHP后台输出的JSON字符串就不会出现中文乱码了，因为js也是处理UTF8形式的JSON格式数据，和PHP类似，所以接收 PHP 页面。 JSON字符串不会有问题。 查看全部

　　php抓取网页json数据(AngularJS简单的Demo-用户查询系统，巩固之前所学知识)
　　本文的例子描述了AngularJS获取json数据的方法。分享给大家，供大家参考，如下：
　　在学习了这么多天的AngularJS之后，今天我想从实用的角度与大家分享一个简单的Demo-User Query System，以巩固之前所学的知识。功能需求需要满足两点1.查询所有用户信息，并显示在前端2.根据id查询用户信息，并显示在前端。好的，需求很简单，接下来我们开始实现上面提到的功能需求。
　　代码框架
　　前端代码通常由三部分组成：html、css和JavaScript。我们用html写视图文件，用css控制视图样式，用js实现控制器代码。本文的重点是对AngularJS的回顾性学习，使用简单的html视图不会涉及到华而不实的CSS代码编写。本例代码的文件目录结构非常简单。如下图，分为简单的两层目录。 UserMgt是整个Demo的包名，js目录用于存放angular.js等第三方js代码，controller用于存放我们的controller代码，tml目录存放html前端文件, conf用于存放配置文件。
　　---------用户管理
　　----------JS
　　----------控制器
　　----------tml
　　-------------配置
　　代码
　　在本例中，我们导入 angular.js 和 angular-route.js v1.2.20 个文件，并将它们放在我们的 JS 目录中。 angularJS本身提供的路由使用起来不够方便。我们使用第三方 angular-route 框架进行路由分配。首先我们需要编写我们的前端显示界面。
　　1. index.html，代码如下
　　user mgt demo 用户管理演示
　　加载中...
　　2.detail.html，用于显示一个用户的数据信息，代码如下
　　用户名
　　男
　　电子邮件
　　3. list.html 用于显示所有数据，代码很简单如下所示
　　用户名
　　性别
　　电子邮件
　　{{user.username}}
　　{{user.gender}}
　　{{user.email}}
　　4.mgt_controller.js
　　var umService = angular.module('UserMgt', ['ngRoute']);
　　umService.config(
　　函数（$routeProvider）{
　　$routeProvider
　　.when('/', {
　　控制器：ListController，
　　templateUrl: '../tml/list.html'
　　})
　　.when('/get/:id', {
　　控制器：GetController，
　　templateUrl: "../tml/detail.html"
　　})
　　.否则（{
　　redirectTo: '/'
　　});
　　}
　　)
　　函数 ListController($scope, $http) {
　　$http.get('../conf/user.json').success(函数（数据）{
　　console.log(数据);
　　$scope.users = 数据；
　　});
　　}
　　function GetController($scope, $http, $routeParams) {
　　var id = $routeParams.id;
　　$http.get('../conf/user.json').success(函数（数据）{
　　console.log(数据);
　　$scope.item = 数据[id];
　　});
　　}
　　5. user.json中json存储如下数据：
　　[
　　{ "id": 1, "username": "situ", "gender": "male", "email": "" },
　　{ "id": 2, "username": "wb", "gender": "female", "email": "" },
　　{ "id": 3, "username": "lml", "gender": "male", "email": "" },
　　{ "id": 4, "username": "wjd", "gender": "female", "email": "" },
　　{ "id": 5, "username": "lyl", "gender": "male", "email": "" },
　　{ "id": 6, "username": "wjh", "gender": "female", "email": "" }
　　]
　　结果
　　1. 显示所有用户信息
　　
　　2. 获取用户信息
　　
　　PS：这里有一些比较实用的json在线工具供大家参考：
　　我希望这篇文章对你进行 AngularJS 编程有所帮助。 查看全部

　　php抓取网页json数据(PHP获取接口内容--PHP中的调用JSON博客)
　　PHP获取界面内容
　　如果要解析JSON数据并显示在页面上，第一步必须要获取JSON接口文件的内容。要在 PHP 中获取页面的内容，可以使用 fopen() 函数远程访问页面，然后使用 fread() 函数循环获取内容。
　　假设接口文件页面为：，那么我们可以使用下面的语句来获取这个接口文件的内容：
　　$handle = fopen("http://www.qttc.net/api.php%3F ... ot%3B,"rb");
$content = "";
while (!feof($handle)) {
$content .= fread($handle, 10000);
}
fclose($handle);
　　这样保存的内容就是JSON api内容。
　　PHP解析JSON并显示
　　原创内容不能直接调用，必须经过PHP进一步处理后才能调用并显示在网页上。在 PHP 5.2 及以后的版本中，使用 json_decode() 函数解析 JSON 数据，并将其转换为 PHP 可以调用的数据格式。例如：
　　$content = json_decode($content);
　　解析后，我们可以像在 PHP 中调用数组数据一样调用 JSON 中的数据。这个调用方法需要根据具体的JSON数据格式编写，请看下面的demo。关于json_decode函数的使用，详见PHP手册，这里不再赘述：
　　琼台博客实际调用api
　　细心的朋友会发现，潜行者m博客的侧边栏底部有一个“好友推荐”模块，里面推荐了【琼台博客】的一些文章。
　　
　　友情推荐是琼台博客发起的一种博主之间的交流方式，比传统的友情链接更有效，实现了博客内容的互补。由于琼台博客的博客程序是自己写的，所以提供了一个JSON api接口来获取最新推荐的文章。
　　我用PHP获取这个JSON接口，然后输出到我博客的侧边栏，我们实践一下。
　　第一步，查看api调用方法
　　调用前一定要看对方的api调用手册，包括调用地址、调用方式、数据输出格式等。琼台博客的api描述地址如下：
　　根据文档，我使用了这样的参数，意思是调用他推荐的五个文章。
　　第二步，获取api结构数据
　　很简单，如上所述，具体代码如下：
　　$handle = fopen("http://www.qttc.net/api.php%3F ... ot%3B,"rb");
$content = "";
while (!feof($handle)) {
$content .= fread($handle, 10000);
}
fclose($handle);
　　先打开数据文件，然后将所有内容保存到content变量中，因为确定api数据不会超过10000个字符，所以fread函数的第二个参数使用10000。这样，api返回的JSON数据就存储在了content变量中。
　　第三步，解析输出内容
　　使用下面的代码解析数据，然后调用输出
　　$content = json_decode($content);
foreach ($content->data as $key) {
echo ''.$key->b_title.'';
}
　　先处理content变量中的JSON数据，然后将其转化为PHP可以调用的数据，然后使用foreach遍历输出这5条内容，插入我需要的HTML格式的内容。
　　再加上样式修饰，这样就完成了JSON的获取和解析，并展示在页面上。调用其他api数据的方法类似。 查看全部

　　php抓取网页json数据(什么是AJAX（AsynchronouseJavaScript）异步JavaScript和XML的区别)
　　什么是 AJAX：
　　AJAX（异步 JavaScript 和 XML）异步 JavaScript 和 XML。Ajax 可以通过在后台与服务器交换少量数据来异步更新网页。这意味着可以在不重新加载整个页面的情况下更新页面的某些部分。如果内容需要更新，传统网页（不使用 Ajax）必须重新加载整个网页。因为传输数据的传统格式是使用 所谓的 AJAX ，其实数据交互基本上是使用JSON 。AJAX加载的数据，即使使用JS，数据也会渲染到浏览器中。右键-&gt; 查看网页源代码。还是看不到通过ajax加载的数据，只能看到使用这个url加载的数据。html代码。
　　ajax数据获取方式：直接分析ajax调用的接口。然后通过代码请求这个接口。使用 Selenium+chromedriver 模拟浏览器行为获取数据。
　　大大地
　　优势
　　缺点
　　分析界面
　　可以直接请求数据。不需要解析工作。代码量小，性能高。
　　解析接口比较复杂，尤其是一些被js搞糊涂的接口，一定要有一定的js知识。很容易被发现为爬行动物。
　　硒
　　直接模拟浏览器行为。浏览器可以请求的内容也可以使用 selenium 来请求。爬行动物更稳定。
　　很多代码。性能低下。
　　Selenium+chromedriver 获取动态数据：
　　Selenium 就相当于一个机器人。它可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击、填充数据、删除cookies等。 chromedriver浏览器，您可以使用它来驱动浏览器。当然，不同的浏览器有不同的驱动程序。下面列出了不同的浏览器及其相应的驱动程序：
　　更多Pycharm激活码教程讲解请看：
　　Chrome： Firefox： Edge： Safari： 安装Selenium和chromedriver：安装 Selenium ： Selenium 者的了吗？ java、ruby、python等，我们可以下载python版本。pip install selenium install chromedriver ：下载完成后，放到一个不需要权限的纯英文目录下。快速开始：
　　下面以一个简单的获取百度主页的例子来谈谈如何快速上手 Selenium 和 chromedriver：
　　from selenium import webdriver
# chromedriver的绝对路径
driver_path = r'D:\ProgramApp\chromedriver\chromedriver.exe'
# 初始化一个driver，并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)
# 请求网页
driver.get("https://www.baidu.com/")
# 通过page_source获取网页源代码
print(driver.page_source)
　　selenium的常用操作：
　　更多教程请参考：
　　关闭页面： driver.close() ：关闭当前页面。driver.quit() ：退出整个浏览器。定位元素： find_element_by_id ：通过id查找元素。等价于： submitTag = driver.find_element_by_id('su') submitTag1 = driver.find_element(By.ID,'su') find_element_by_class_name ：按类名查找元素。等价于： submitTag = driver.find_element_by_class_name('su') submitTag1 = driver.find_element(By.CLASS_NAME,'su') find_element_by_name ：根据name属性的值查找元素。等价于： submitTag = driver.find_element_by_name('email') submitTag1 = driver.find_element(By.NAME,'email') find_element_by_tag_name ：按标签名称查找元素。等价于： submitTag = driver.find_element_by_tag_name('div') submitTag1 = driver.find_element(By. TAG_NAME,'div') find_element_by_xpath ：根据xpath语法获取元素。相当于： submitTag = driver.find_element_by_xpath('//div') submitTag1 = driver.find_element(By.XPATH,'//div' )find_element_by_css_selector：根据css选择器选择元素。相当于：
　　submitTag = driver.find_element_by_css_selector('/​​/div') submitTag1 = driver.find_element(By.CSS_SELECTOR,'//div')
　　需要注意的是find_element是获取第一个满足条件的元素。find_elements 是获取所有满足条件的元素。操作表单元素： 操作输入框：有两个步骤。第一步：找到元素。第 2 步：使用 send_keys(value) 填写数据。示例代码如下：
　　inputTag = driver.find_element_by_id('kw') inputTag.send_keys('python')
　　使用 clear 方法清除输入框的内容。示例代码如下：
　　inputTag.clear() 操作checkbox：因为checkbox标签是要被选中的，所以在网页中是用鼠标点击的。所以如果要选中checkbox标签，先选中标签，然后执行click事件。示例代码如下：
　　rememberTag = driver.find_element_by_name("rememberMe") rememberTag.click() select select：选择元素不能直接点击。因为点击后需要选择元素。这时，selenium 提供了一个类 selenium.webdriver.support.ui.Select 专门用于 select 标签。将获取的元素作为参数传递给此类以创建此对象。您可以稍后使用此对象进行选择。示例代码如下：
　　from selenium.webdriver.support.ui import Select # 选择这个标签，然后使用Select创建一个对象 selectTag = Select(driver.find_element_by_name("jumpMenu")) # 按索引选择 selectTag.select_by_index(1) # 选择by value selectTag.select_by_value("") # 根据可见文本选择 selectTag.select_by_visible_text("95 Show Client") # 取消所有选项 selectTag.deselect_all() 操作按钮：操作按钮的方法有很多种，例如，点击、右键、双击等，这里是最常用的一种，就是点击，直接调用点击函数即可，示例代码如下：
　　inputTag = driver.find_element_by_id('su') inputTag.click() 行为链：
　　有时候页面上的操作可能会有很多步骤，那么可以使用鼠标动作链类ActionChains来完成。例如，现在您想将鼠标移到一个元素上并执行一个单击事件。那么示例代码如下：
　　inputTag = driver.find_element_by_id('kw')
submitTag = driver.find_element_by_id('su')
actions = ActionChains(driver)
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag,'python')
actions.move_to_element(submitTag)
actions.click(submitTag)
actions.perform()
　　还有更多与鼠标相关的操作。
　　cookie操作：获取所有cookies ：对于driver.get_cookies()中的cookie:print(cookie)根据cookie获取值key：value = driver.get_cookie(key)删除所有cookies：driver.delete_all_cookies()删除一个cookie : driver.delete_cookie(key) 页面等待：
　　今天的网页越来越多地使用 Ajax 技术，因此程序无法确定元素何时完全加载。如果实际页面等待的时间过长，一个dom元素还没有出来，但是你的代码直接使用了这个WebElement，就会抛出NullPointer异常。来解决这个问题。所以 Selenium 提供了两种等待方式：一种是隐式等待，另一种是显式等待。
　　隐式等待：调用 driver.implicitly_wait。然后它将等待 10 秒，然后再获取不可用的元素。示例代码如下：
　　driver = webdriver.Chrome(executable_path=driver_path)driver.implicitly_wait(10)#请求网页 driver.get("") 显示等待：显示等待是指在执行获取元素的操作之前建立了一定的条件. 也可以指定等待的最长时间，如果超过这个时间就抛出异常。显示等待应该使用 selenium.webdriver.support.excepted_conditions 和 selenium.webdriver.support.ui.WebDriverWait 期望的条件来完成。示例代码如下：
　　from selenium import webdriver from mon.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Firefox() driver.get("") try:element = WebDriverWait( driver, 10).until(EC.presence_of_element_located((By.ID, "myDynamicElement"))) finally: driver.quit() 其他一些等待条件：切换页面：
　　有时窗口中有很多子标签页。肯定是时候换了。selenium 示例代码如下：
　　# 打开一个新的页面
self.driver.execute_script("window.open('"+url+"')")
# 切换到这个新的页面中
self.driver.switch_to_window(self.driver.window_handles[1])
　　设置代理ip：
　　有时某些网页被频繁爬取。服务器发现你是爬虫后，会屏蔽你的IP地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现。以下是 Chrome 浏览器的示例：
　　from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://110.73.2.248:8123")
driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options)
driver.get('http://httpbin.org/ip')
PYTHON 复制 全屏
　　WebElement 元素：
　　from selenium.webdriver.remote.webelement import WebElement 类是每个检索到的元素所属的类。
　　有一些常用的属性：
　　get_attribute：这个标签的一个属性的值。screenshot：获取当前页面的截图。此方法只能在驱动程序上使用。
　　驱动的对象类也是继承自WebElement。
　　更多内容请阅读相关源码。 查看全部

　　php抓取网页json数据(
hebedichPHP利用Curl实现并发多线程下载文件以上就是)
　　PHP结合curl实现多线程爬取
　　更新时间：2015-07-09 11:09:13 发布者：hebedich
　　PHP可以使用Curl来完成各种文件传输操作，比如模拟浏览器发送GET、POST请求等。但是由于PHP语言本身不支持多线程，开发爬虫程序的效率不高，所以经常需要使用 Curl Multi Functions。实现并发多线程访问多个url地址实现并发多线程抓取网页或下载文件的功能
　　PHP结合curl实现多线程爬取
　　让我们再看几个例子
　　(1）下面的代码是爬取多个URL，然后将爬取到的URL的页面代码写入到指定文件中
　　$urls = array(
'https://www.jb51.net/',
'http://www.google.com/',
'http://www.example.com/'
); // 设置要抓取的页面URL
$save_to='/test.txt'; // 把抓取的代码写入该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 将爬取的代码写入文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 初始化
do {
curl_multi_exec($mh,$active);
} while ($active); // 执行
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 结束清理
curl_multi_close($mh);
fclose($st);
　　(2）下面的代码和上面类似，只不过这个地方是先把获取到的代码放到一个变量中，然后再将获取到的内容写入到指定的文件中
　　$urls = array(
'https://www.jb51.net/',
'http://www.google.com/',
'http://www.example.com/'
);
$save_to='/test.txt'; // 把抓取的代码写入该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不将爬取代码写到浏览器，而是转化为字符串
curl_multi_add_handle ($mh,$conn[$i]);
}
do {
curl_multi_exec($mh,$active);
} while ($active);
foreach ($urls as $i => $url) {
$data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串
fwrite($st,$data); // 将字符串写入文件
} // 获得数据变量，并写入文件
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($st);
　　(3）以下代码实现使用PHP的Curl Functions实现并发多线程下载文件
　　$urls=array(
'https://www.jb51.net/5w.zip',
'https://www.jb51.net/5w.zip',
'https://www.jb51.net/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh);$urls=array(
'https://www.jb51.net/5w.zip',
'https://www.jb51.net/5w.zip',
'https://www.jb51.net/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh);
　　以上就是本文的全部内容，希望大家喜欢。 查看全部

　　php抓取网页json数据(ajax读取Json数据的注意事项有哪些，就是实战案例分享)
　　这次给大家带来ajax读取Json数据的方法。 ajax读取Json数据有哪些注意事项？下面是一个实际案例，一起来看看吧。
　　本文将与大家分享如何使用ajax读取Json中的数据。
　　一、基础知识
　　什么是json？
　　JSON 代表 JavaScript 对象表示法
　　JSON 是一种轻量级的文本数据交换格式
　　JSON 与语言无关*
　　JSON 是自描述的，更容易理解
　　JSON 使用 JavaScript 语法来描述数据对象，但 JSON 保持语言和平台独立。 JSON 解析器和 JSON 库支持许多不同的编程语言。
　　JSON - 转换为 JavaScript 对象
　　JSON 文本格式在语法上与创建 JavaScript 对象的代码相同。
　　由于这种相似性，在没有解析器的情况下，JavaScript 程序可以使用内置的 eval() 函数从 JSON 数据生成原生 JavaScript 对象。
　　二、读取Json中的数据
　　首先我编写了一个收录内容的 Json 文件。注意格式。
　　
　　图一：写一个json文件
　　然后，编写html代码并引用ajax。
　　
使用AJAX异步读取json
window.onload=function()
{
/*获得按钮*/
var aBtn=document.getElementById(&#39;btn1&#39;);
//给按钮添加点击事件
aBtn.onclick=function()
{
//调用ajax函数
ajax(&#39;data.json&#39;,function(str){
//将JSON 数据来生成原生的 JavaScript 对象
var arr=eval(str);
alert(arr[0].b);
});
};
};
读取json里面的数据 <br />
　　封装的AJAX功能代码如下：
　　/*
AJAX封装函数
url：系统要读取文件的地址
fnSucc：一个函数，文件取过来，加载完会调用
*/
function ajax(url, fnSucc, fnFaild)
{
//1.创建Ajax对象
var oAjax=null;
if(window.XMLHttpRequest)
{
oAjax=new XMLHttpRequest();
}
else
{
oAjax=new ActiveXObject("Microsoft.XMLHTTP");
}
//2.连接服务器
oAjax.open(&#39;GET&#39;, url, true);
//3.发送请求
oAjax.send();
//4.接收服务器的返回
oAjax.onreadystatechange=function ()
{
if(oAjax.readyState==4) //完成
{
if(oAjax.status==200) //成功
{
fnSucc(oAjax.responseText);
}
else
{
if(fnFaild)
fnFaild(oAjax.status);
}
}
};
}
　　下一步是读取文件的内容。在此之前要提一提的是AJAX从服务器读取文件，所以需要将写入的JSON文件放在服务器的路径下。学者接触的服务器只有IIS，他的文件路径是C:\inetpub\wwwroot\aspnet_client\system_web。把Json放到这个路径下，然后使用localhost访问服务器即可。
　　
　　相信你看完本文的案例已经掌握了方法。更多精彩内容请关注php中文网其他相关话题文章！ 查看全部

　　php抓取网页json数据(
如何利用PHP抓取百度阅读的方法看能)
　　使用PHP爬取百度阅读的方法示例
　　更新时间：2016-12-18 11:06:49 发布者：daisy
　　最近在百度阅读上购买了一本电子书《永恒的终结》，但发现只能在线阅读或手机端阅读，无法下载放入kindle。所以试试看能不能下载这个文章。有需要的朋友可以参考一下，一起来看看吧。
　　前言
　　本篇文章主要介绍如何使用PHP爬取百度阅读。下面我就不多说了，一起来看看吧。
　　抓取方法如下
　　首先在浏览器中打开阅读页面，查看源码后发现，小说的内容并没有直接写在页面上，也就是说，小说的内容是异步加载的。
　　于是我将chrome的开发者工具切换到了网络栏目，刷新了阅读页面，主要关注了XHR和脚本这两个类别。
　　经过排查，发现脚本类别下有一个jsonp请求，更像是小说的内容，请求地址为
　　返回的是一个jsonp字符串，然后发现如果去掉地址中的callback=wenku7，就返回一个json字符串，解析起来方便很多，可以直接在php中转成数组。
　　我们来分析返回数据的结构。返回的 json 字符串后跟一个树状结构。每个节点都有at属性和ac属性。t属性用来表示这个节点的标签，比如h2 div等，c属性就是内容，但是有两种可能，一种是字符串，一种是数组，每个元素的数组是一个节点。
　　这种结构最好解析，可以用递归来完成
　　最终代码如下：
<p> 查看全部

　　php抓取网页json数据(AngularJS简单的Demo-用户查询系统，巩固之前所学知识)
　　本文的例子描述了AngularJS获取json数据的方法。分享给大家，供大家参考，如下：
　　在学习了这么多天的AngularJS之后，今天我想从实用的角度与大家分享一个简单的Demo-User Query System，以巩固之前所学的知识。功能需求需要满足两点1.查询所有用户信息，并显示在前端2.根据id查询用户信息，并显示在前端。好的，需求很简单，接下来我们开始实现上面提到的功能需求。
　　代码框架
　　前端代码通常由三部分组成：html、css和JavaScript。我们用html写视图文件，用css控制视图样式，用js实现控制器代码。本文的重点是对AngularJS的回顾性学习，使用简单的html视图不会涉及到华而不实的CSS代码编写。本例代码的文件目录结构非常简单。如下图，分为简单的两层目录。 UserMgt是整个Demo的包名，js目录用于存放angular.js等第三方js代码，controller用于存放我们的controller代码，tml目录存放html前端文件, conf用于存放配置文件。
　　---------用户管理
　　----------JS
　　----------控制器
　　----------tml
　　-------------配置
　　代码
　　在本例中，我们导入 angular.js 和 angular-route.js v1.2.20 个文件，并将它们放在我们的 JS 目录中。 angularJS本身提供的路由使用起来不够方便。我们使用第三方 angular-route 框架进行路由分配。首先我们需要编写我们的前端显示界面。
　　1. index.html，代码如下
　　user mgt demo 用户管理演示
　　加载中...
　　2.detail.html，用于显示一个用户的数据信息，代码如下
　　用户名
　　男
　　电子邮件
　　3. list.html 用于显示所有数据，代码很简单如下所示
　　用户名
　　性别
　　电子邮件
　　{{user.username}}
　　{{user.gender}}
　　{{user.email}}
　　4.mgt_controller.js
　　var umService = angular.module('UserMgt', ['ngRoute']);
　　umService.config(
　　函数（$routeProvider）{
　　$routeProvider
　　.when('/', {
　　控制器：ListController，
　　templateUrl: '../tml/list.html'
　　})
　　.when('/get/:id', {
　　控制器：GetController，
　　templateUrl: "../tml/detail.html"
　　})
　　.否则（{
　　redirectTo: '/'
　　});
　　}
　　)
　　函数 ListController($scope, $http) {
　　$http.get('../conf/user.json').success(函数（数据）{
　　console.log(数据);
　　$scope.users = 数据；
　　});
　　}
　　function GetController($scope, $http, $routeParams) {
　　var id = $routeParams.id;
　　$http.get('../conf/user.json').success(函数（数据）{
　　console.log(数据);
　　$scope.item = 数据[id];
　　});
　　}
　　5. user.json中json存储如下数据：
　　[
　　{ "id": 1, "username": "situ", "gender": "male", "email": "" },
　　{ "id": 2, "username": "wb", "gender": "female", "email": "" },
　　{ "id": 3, "username": "lml", "gender": "male", "email": "" },
　　{ "id": 4, "username": "wjd", "gender": "female", "email": "" },
　　{ "id": 5, "username": "lyl", "gender": "male", "email": "" },
　　{ "id": 6, "username": "wjh", "gender": "female", "email": "" }
　　]
　　结果
　　1. 显示所有用户信息
　　2. 获取用户信息
　　PS：这里有一些比较实用的json在线工具供大家参考：
　　我希望这篇文章对你进行 AngularJS 编程有所帮助。 查看全部

　　php抓取网页json数据(如何快速审核接口返回值全部解决方案介绍)
　　在之前的分享中，我介绍了一篇文章：如何快速查看接口返回值所有字段的解决方案，请参考原文：接口自动化测试，一键快速验证接口返回值所有字段。当时，要解决此类问题，市面上常见的解决方案有两种：
　　文章 中介绍的解决方案是借助现有的第三方库：DeepDiff 实现的。对于一些特殊的业务或者复杂的测试场景，总会有一些这样的通用方案无法满足的需求。因此，往往需要根据此类业务验证需求定制开发验证规则库。
　　今天我们不讲如何开发自定义开发验证规则库，而是给大家分享一个在开发自定义验证规则库或者常规接口自动化测试时经常用到的数据抽取神器：JSonPath。
　　1. JSonPath 简介
　　JSonPath 是一种提取给定 JSON 文档部分内容的简单方法。JSonPath 支持多种编程语言，如 Javascript、Python 和 PHP、Java 等。
　　JSonPath 提供的 json 解析非常强大。它提供了一种类似正则表达式的语法，基本上可以满足你想要的所有 JSON 内容。
　　项目地址：
　　https://github.com/json-path/JsonPath
　　一句话：JsonPath是用来解析提取Json数据的。
　　2. JSonPath 语法
　　JSONPath 是一种引用方式，用于解析 XML 文档的 Xpath 表达式，JSON 数据结构通常是匿名的，不一定需要有根元素。JSONPaht 使用抽象名称 $ 来表示最外层的对象，即 $ 表示整个 JSON 数据的值。
　　JSonpath 的语法如下： jsonpath.jsonpath()
　　JSONPath 表达式可以使用 . 符号如下：
　　$.store.book[0].title
　　或使用 [] 符号
　　$[&#39;store&#39;][&#39;book&#39;][0][&#39;title&#39;]
　　JSONPath 允许通配符 * 表示所有子元素名称和数组索引，以及“..”。
　　表达式可以在以下脚本语言中使用显式名称或索引：
　　$.store.book[(@.length-1)].title
　　使用“@”符号表示当前对象，?() 使用逻辑表达式进行过滤。
　　$.store.book[?(@.price > 100)].title
　　XPath 和 JSONPath 语法的区别如下：
　　
　　额外的警告是：
　　3. JsonPath 实际使用
　　安装：
　　pip install jsonpath
　　例如：要提取的json数据变量名称为：json_datas。
　　json_datas = {"store": {
"book": [
{ "category": "测试开发技术",
"author": "狂师",
"title": "公众号：测试开发技术",
"price": 129
},
{ "category": "自动化测试",
"author": "狂师1",
"title": "《自动化测试实战宝典》",
"price": 109
},
{ "category": "Python",
"author": "狂师2",
"title": "Python实战教程",
"isbn": "0-110-234567-30",
"price": 99
},
{ "category": "Java",
"author": "狂师3",
"title": "小白学Java",
"isbn": "0-13095-19295-8",
"price": 89
}
],
"info": {
"color": "red",
"price": 88
}
}
}
　　1. 查找 book 下的所有作者
　　import jsonpath
datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[*].author&#39;)
print(datas)
　　输出结果为：['疯狂大师'，'疯狂大师1'，'疯狂大师2'，'疯狂大师3']
　　上面的提取表达式可以改成如下：
　　datas = jsonpath.jsonpath(json_datas, &#39;$..author&#39;)
print(datas)
　　同样的效果，输出所有作者，结果是一样的：['mad teacher','mad teacher 1','mad teacher 2','mad teacher 3']
　　2. 在 store 下面的 book 中查找所有节点数据
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book.*&#39;)
print(datas)
　　输出是：
　　[{&#39;category&#39;: &#39;测试开发技术&#39;, &#39;author&#39;: &#39;狂师&#39;, &#39;title&#39;: &#39;公众号：测试开发技术&#39;, &#39;price&#39;: 129}, {&#39;category&#39;: &#39;自动化测试&#39;, &#39;author&#39;: &#39;狂师1&#39;, &#39;title&#39;: &#39;《自动化测试实战宝典》&#39;, &#39;price&#39;: 109}, {&#39;category&#39;: &#39;Python&#39;, &#39;author&#39;: &#39;狂师2&#39;, &#39;title&#39;: &#39;Python实战教程&#39;, &#39;isbn&#39;: &#39;0-110-234567-30&#39;, &#39;price&#39;: 99}, {&#39;category&#39;: &#39;Java&#39;, &#39;author&#39;: &#39;狂师3&#39;, &#39;title&#39;: &#39;小白学Java&#39;, &#39;isbn&#39;: &#39;0-13095-19295-8&#39;, &#39;price&#39;: 89}]
　　3. 找到书下面的第三本书
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[2]&#39;)
print(datas)
　　输出是：
　　[{&#39;category&#39;: &#39;Python&#39;, &#39;author&#39;: &#39;狂师2&#39;, &#39;title&#39;: &#39;Python实战教程&#39;, &#39;isbn&#39;: &#39;0-110-234567-30&#39;, &#39;price&#39;: 99}]
　　4. 找到该书下方的最后一本书并返回一个列表
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[(@.length-1)]&#39;)
print(datas)
　　输出结果：
　　[{&#39;category&#39;: &#39;Java&#39;, &#39;author&#39;: &#39;狂师3&#39;, &#39;title&#39;: &#39;小白学Java&#39;, &#39;isbn&#39;: &#39;0-13095-19295-8&#39;, &#39;price&#39;: 89}]
　　5.在书下面找到前 3 本书
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[0,2]&#39;)
print(datas)
　　输出是：
　　[{&#39;category&#39;: &#39;测试开发技术&#39;, &#39;author&#39;: &#39;狂师&#39;, &#39;title&#39;: &#39;公众号：测试开发技术&#39;, &#39;price&#39;: 129}, {&#39;category&#39;: &#39;Python&#39;, &#39;author&#39;: &#39;狂师2&#39;, &#39;title&#39;: &#39;Python实战教程&#39;, &#39;isbn&#39;: &#39;0-110-234567-30&#39;, &#39;price&#39;: 99}]
　　6. 查找所有收录键 isbn 的书
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[?(@.isbn)]&#39;)
print(datas)
　　输出是：
　　[{&#39;category&#39;: &#39;Python&#39;, &#39;author&#39;: &#39;狂师2&#39;, &#39;title&#39;: &#39;Python实战教程&#39;, &#39;isbn&#39;: &#39;0-110-234567-30&#39;, &#39;price&#39;: 99}, {&#39;category&#39;: &#39;Java&#39;, &#39;author&#39;: &#39;狂师3&#39;, &#39;title&#39;: &#39;小白学Java&#39;, &#39;isbn&#39;: &#39;0-13095-19295-8&#39;, &#39;price&#39;: 89}]
　　7. 查找价格大于 100 的所有书籍
　　datas = jsonpath.jsonpath(json_datas, &#39;$.store.book[?(@.price>100)]&#39;)
print(datas)
　　输出结果：
　　[{&#39;category&#39;: &#39;测试开发技术&#39;, &#39;author&#39;: &#39;狂师&#39;, &#39;title&#39;: &#39;公众号：测试开发技术&#39;, &#39;price&#39;: 129}, {&#39;category&#39;: &#39;自动化测试&#39;, &#39;author&#39;: &#39;狂师1&#39;, &#39;title&#39;: &#39;《自动化测试实战宝典》&#39;, &#39;price&#39;: 109}]
　　4. 最后，一个 JsonPath 小技巧
　　最后，我想向您推荐一种技术。如果一开始对 JSONPath 表达式不熟悉，可以通过 jsonpath 在线解析工具测试提取的 JSON 数据。网上解析JSONPath URL有很多，比如：
　　http://www.e123456.com/aaaphp/online/jsonpath/
　　
　　在接口自动化测试中，只有你知道如何用好JSONPath，那么至少你可以在自动化测试的数据提取部分提取你想要的数据。
　　好了，今天的干货分享就到这里，你学会了吗？ 查看全部

　　php抓取网页json数据(之前我写过一遍php外挂python脚本处理视频的文章
)
　　之前写过一个php插件python脚本处理视频文章。今天给大家分享php插件python实现关键字搜索的脚本
　　首先，我们来分析一波网站：
　　
　　我们可以看到，普通的爬取网站已经不能满足我们的需求了。此 网站 使用辅助数据采集。我们再来看看头部；
　　
　　可以看到数据是通过ajax获取的。我们把我们得到的链接放到浏览器中直接打开就报错了。有的网站可以通过获取链接直接获取数据，但是很明显，这个接口使用的是post接口请求
　　让我们先提出一个请求：
　　代码开始：
　　# -*- coding: utf-8 -*-
# @Time : 2019/9/4 14:43
# @Author : wujf
# @Email : 1028540310@qq.com
# @File : 爬取ajax数据.py
# @Software: PyCharm
'''
json.loads(json_str) json字符串转换成字典
json.dumps(dict) 字典转换成json字符串
'''
import requests
import json
url = "http://nddb.ic361.cn:8080/proc ... ot%3B
seach = input("请输入您要搜索的内容：")
list = ['507786','14922','-1']
list.append(seach)
d = {
'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',
'uid':'507786',
'mycoid':'14922',
'con':'15',
'a':list
}
　　
　　确实有足够的数据。
　　接下来很容易做到：
　　上面的代码---------
　　
　　import requests
import json
import sys
url = "http://nddb.ic361.cn:8080/proc ... ot%3B
seach = sys.argv[1]
#seach1 = sys.argv[2]
#item = seach+'-'+seach1
# with open(r'D:\\phpStudy_server\\PHPTutorial\\WWW\\demo\\log.txt','a') as f:
# try:
# f.write(seach)
# except Exception as e:
# print(e)
# seach = input("请输入您要搜索的内容：")
list = ['507786','14922','-1']
list.append(seach)
d = {
'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',
'uid':'507786',
'mycoid':'14922',
'con':'15',
'a':list
}
r = requests.post(url,data=d)
dic = r.json()
print(json.dumps(dic))
　　那我们看看打印结果：
　　 查看全部

　　php抓取网页json数据(做web开发的小伙伴儿们请求的问题，解决该问题的方法)
　　做web开发的朋友一定经常会遇到javascript跨域请求的问题。有很多方法可以解决这个问题。今天我们将介绍最常用的jsonp方法。
　　我们先介绍一下什么是跨域请求。
　　说到跨域请求，就不得不说浏览器的同源策略了。如果网页所在的服务器与网页请求的服务器使用相同的协议、端口和主机，则属于同源，否则属于不同的源。来自不同来源的 JavaScript 请求是跨域请求，浏览器会阻止此类请求。当然，浏览器这样做是出于安全原因，但这使得我们无法跨域请求数据。
　　我们来看一个跨域请求的例子。
　　发起请求的网页代码：
　　
　　发起请求的网页代码
　　服务器端 jsonp.php 代码：
　　
　　服务器端 jsonp.php 代码
　　打开网页如下：
　　
　　跨域请求的网页
　　从上面的例子可以看出，跨域请求被浏览器拦截了。接下来，我们将使用jsonp来解决javascript的跨域请求问题。
　　jsonp解决跨域请求的流程：
　　在网页上定义一个回调函数，然后将回调函数的名字传给服务器；
　　服务端获取数据并组装json字符串
　　服务器端输出一段javascript代码执行页面的回调函数，并将组装好的json字符串作为参数传递给回调函数
　　网页接收服务器返回的javascript代码段并执行 查看全部

　　php抓取网页json数据(前端工程师数据中的tab字符背景解析及解析操作方法
)
　　前端工程师对 JSON 太熟悉了。语法简单，表现力强，常用于前后端的数据交换。
　　实战中，我也遇到过JSON相关的小坑。
　　JSON 数据中的制表符
　　背景
　　有一天，在手机版的商品详情页发现了一个隐藏的bug。在 iOS 5 下不会触发，但在 Chrome、Firefox 和 iOS 6+ 的最新版本下可以重现。失败表现为各个详细信息页面的脚本将挂起并且无法工作。
　　分析
　　经过简单的隔离分析，可疑点位于某个JSON的解析操作中。这个页面的脚本使用了浏览器原生的JSON解析方法JSON.parse()，但是奇怪的是，这个方法偶尔会抛出异常，导致后续代码执行失败。（如下图）
　　
　　进一步分析发现，iOS 6（和其他较新的浏览器）比 iOS 5 更严格地遵守 JSON 规范——如果 JSON 数据中需要制表符，则必须对其进行转义（“\t”或“\u0009”）；如果直接出现，则认为是非法字符，JSON.parse()方法会报错。
　　（可以在此处找到相关讨论，其中提到了 JSON 规范 RFC4627。）
　　跟进
　　制表符如何出现在 JSON 数据中？
　　原来，详情页使用这个JSON作为载体，将后端数据传递给前端脚本；这个JSON是用PHP代码手动拼接的，其中一个字段是直接从数据库中读取输出的。操作学生从Excel导入数据到数据库时，很可能在数据中不小心混入了一些制表符。
　　因此，这也是一个教训。对于那些人工生成的字符数据，仍然需要进行一定的过滤和验证。在这种情况下，更好的方法是先将数据存储在 PHP 数组中，然后使用 json_encode() 将其编码为 JSON 字符串，以确保 JSON 数据的正常性。
　　JSON 键名中的空格
　　背景
　　一天，一位后端同学声称自己按照要求开发了一个API。好的，在浏览器中运行，打开Firebug，看到Ajax返回的JSON数据，看起来还可以。
　　
　　但是在渲染这段数据的时候，发现thumbnail字段不能一直输出正确的值，一直显示undefined。是拼写错误吗？我从 Firebug 的 JSON 视图（上图）复制并粘贴，但仍然出现错误。多么奇怪！
　　分析
　　如果在格式化的 JSON 视图中看不到问题，让我们进一步追踪原创数据。于是将Ajax返回数据切换到原代码视图，搜索缩略图关键字，终于找到问题所在。
　　原来这个字段的键名末尾有一个空格。空格也是键名的一部分，当然不能再输出这个有尾字段了。
　　后台大哥，你在玩我吗？
　　希望这篇文章可以帮到你！
　　点赞+转发，让更多人看到此内容
　　关注 {me} 并享受 文章 发布体验！
　　每周专注于克服一个前端技术难题。更多精彩前端内容私信我回复“教程”
　　原文链接：
　　 查看全部

　　php抓取网页json数据(php中提交表单有两种方法，即：（1）利用表单提交例)
　　在php中提交表单有两种方式，分别是：
　　(1）使用表单提交
　　例子：
　　后端php可以通过超全局数组获取上传数据：
　　如果上面的提交方式是：POST，使用$_POST
　　如果上面的提交方式是：GET，使用$_GET
　　例如：POST方式提交，收到表单的php文件后，
　　$username=$_POST['username'];
　　$password=$_POST['密码'];
　　post方法不会改变浏览器地址栏的路径，更安全
　　get方法会在地址栏显示你提交的内容，所以相比post方法不是特别安全
　　此表单用于直接提交数据，一般用于处理完数据后直接将数据插入数据库，然后直接跳转到页面。
　　Ajax 简介：
　　使用ajax通过后台服务器进行少量的数据库交换，网页可以异步本地更新
　　ajax的使用方式也有两种，但是两者还是有很大区别的，
　　使用ajax post，php echo的东西返回数据给js提交数据的ajax，一般用来返回处理某个东西的结果（例如：向数据库插入数据后，返回结果，然后然后通过js或者jquery对html上的DOM结构进行操作）；注意：不能跳转到这个文件，（如果跳转，文件中不会收到数据）
　　使用ajax get，php中echo的东西会在当前输出直接返回一个html页面，可以使用js直接跳转到当前php文件。但是注意路径后面的变量一定不能错，
　　其实还是会把数据返回给js提交的ajax
　　这里我在 jquery 中使用 ajax：
　　获取提交：
　　$(".look").bind("click",function(){
　　$("#tip p").remove();
　　var blog_id = $(this).val();
　　location.href="../php/back_editor.php?action=look&blog_id="+blog_id;
　　$.ajax({
　　类型：“GET”，
　　网址：“../php/back_editor.php?action=look”，
　　数据类型：“json”，
　　数据：{'blog_id':blog_id}，
　　成功：函数（d）{
　　}
　　});
　　});
　　提交后：
　　$(".delete").bind("click",function(){
　　$("#tip p").remove();
　　if (confirm("您确定要删除此博客吗？")) {
　　varblog_id=($(this).val());
　　$.ajax({
　　类型：“POST”，
　　网址：“../php/my_blog_back_way.php?action=delete”，
　　数据类型：“json”，
　　数据：{'blog_id':blog_id}，
　　成功：函数（d）{
　　如果（d.de_blog）{
　　alert('此博客已被删除');
　　history.go(0);
　　}
　　}
　　});
　　}
　　});
　　在php端接收时，还是用$_GET或者$_POST这两个全局数组接收的
　　然后使用echo输出要返回的数据
　　json数据类型：
　　简介：JSON（JavaScript Object Notation）是一种轻量级的数据交换格式
　　1.名称/值对（对象）的集合
　　2. 值的有序列表（数组）。
　　大部分电脑都支持json数据类型，而json比较简单易懂，所以被广泛使用
　　JSON的具体形式：
　　1、对象是“名称/值”对的无序集合。对象以“{”开头，以“}”结尾。每个“名称”后跟一个“：”，在“'名称/值'对”之间用“，”分隔。
　　2、数组是值的有序集合。数组以“[”开头，以“]”结尾。使用“，”分隔值。
　　3、值（value）可以是字符串（String）、值（number）、true、false、null、对象（object）或用双引号括起来的数组（array）。这些结构可以嵌套。
　　4、 字符串是由双引号包围的任意数量的 Unicode 字符的集合，使用反斜体进行转义。字符是单个字符串（字符字符串）。
　　注意：以下json知识见json API 查看全部