[为什么要学习爬网？ 】1.爬网程序易于入门，但难以深入. 如何编写高效的采集器，如何编写高度灵活和可伸缩的采集器是一项技术任务. 此外，在爬网过程中，经常容易遇到反爬虫，例如字体防爬网，IP识别，验证码等. 如何克服困难并获得所需的数据，您可以学习此课程！ 2.如果您是其他行业的开发人员，例如应用程序开发，网站开发，那么学习爬虫程序可以增强您的技术知识，并开发更安全的软件和网站[课程设计]完整的爬虫程序，无论大小，它可以分为三个步骤，即: 网络请求: 模拟浏览器的行为以从Internet抓取数据. 数据分析: 过滤请求的数据并提取所需的数据. 数据存储: 将提取的数据存储到硬盘或内存中. 例如，使用mysql数据库或redis. 然后按照这些步骤逐步解释本课程，使学生充分掌握每个步骤的技术. 另外，由于爬行器的多样性，在爬行过程中可能会发生反爬行和低效率的情况. 因此，我们增加了两章来提高采集器程序的灵活性. 它们是: 高级采集器: 包括IP代理，多线程采集器，图形验证码识别，JS加密和解密，动态Web采集器，字体反搜寻识别等. Scrapy和分布式爬虫: Scrapy框架，Scrapy-redis组件，分布式爬虫等. 我们可以通过爬虫的高级知识点来处理大量反爬虫网站，并且Scrapy框架是使用它的专业爬虫框架可以快速提高我们的抓取程序的效率和速度. 此外，如果一台计算机无法满足您的需求，我们可以使用分布式爬网程序让多台计算机帮助您快速爬网数据. 从基本的采集器到商业应用程序采集器，这套课程都可以满足您的所有需求！ [课程服务]独家付费社区+每个星期三的讨论会+ 1v1问答 查看全部

　　前言
　　本文简要介绍了如何使用Camera2相关API在移动Android系统下进行视频捕获.
　　Camera2是Google添加到Android 5.0中的全新API，以代替Camera1来操作相机.
　　按照惯例，源代码AndroidVideo是第一位.
　　Camera2调用相机捕获视频的核心实现是在Camera2Capture.java中.
　　权限配置
　　要使用Android平台提供的摄像头，必须首先在配置文件中添加以下权限配置:
　　获取相机信息
　　打开相机管理器
　　CameraManager是用于检测，连接和描述相机设备的系统服务. 您可以通过调用Context.getSystemService（java.lang.String）方法获取CameraManager的实例:
　　CameraManager mManager = (CameraManager) context.getSystemService(Context.CAMERA_SERVICE);
　　获取相机列表信息
　　通过调用CameraManager.getCameraIdList（）方法，可以获得摄像机ID的列表:
　　String[] cameraIds = mCameraManager.getCameraIdList();
for (String id : cameraIds) {
//TODO
}
　　可以通过相应的ID从CameraManager获取相应摄像机的属性集CameraCharacteristics.
　　在CameraCharacteristics中，您可以获得诸如前后条件，支持的输出尺寸，支持的输出格式等信息.
　　for (String id : cameraIds) {
//传入摄像头id，获取对应摄像头的参数集
CameraCharacteristics characteristics = mManager.getCameraCharacteristics(id);
//获取摄像头的支持等级
Integer level = characteristics.get(CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL);
//如果是LEGACY等级，不建议使用该摄像头
if (level == CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL_LEGACY)
{
continue;
}
//获取摄像头的朝向
Integer facing = characteristics.get(CameraCharacteristics.LENS_FACING);
//筛选出前置摄像头
if (facing != CameraCharacteristics.LENS_FACING_FRONT) {
continue;
}
//StreamConfigurationMap包含了该摄像头支持的size、format等信息
StreamConfigurationMap map = mCameraCharacteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
//获取输出格式为YUV_420_888时兼容的size
Size[] size = map.getOutputSizes(ImageFormat.YUV_420_888);
//获取输出View为SurfaceView时兼容的size
//Size[] size = map.getOutputSizes(SurfaceHolder.class);
//TODO 其他的参数，例如输出格式、输出帧率上下限等
}
　　PS: 对于Camera2采集系统，每个摄像机都有一个支持级别:
　　PS: 通常，如果摄像机级别为LEVEL_3和LEVEL_FULL，建议使用Camera2进行采集，否则建议使用具有更好兼容性的Camera1进行视频采集.
　　打开相机
　　通过摄像机信息，我们可以找到所需的CameraId，然后使用该ID来获取我们的摄像机设备CameraDevice.
　　函数原型是public void openCamera（String cameraId，final CameraDevice.StateCallback回调，Handler handler），
　　cameraId是需要打开的摄像机的ID. 为了监视摄像机的情况，您需要传递一个回调，这是第二个参数CameraDevice.StateCallback. 当然，如果我们不希望打开操作占用UI线程时间，
　　我们可以使用Looper构造HandlerThread子线程，然后传入Handler.
　　//打开摄像头，正常打开会回调到CameraDeviceStateCallback的onOpened方法
mManager.openCamera(mCameraId, new CameraDevice.StateCallback() {
@Override
public void onOpened(@NonNull CameraDevice camera) {
//摄像头成功连接
//camera也就是我们需要获取的摄像头设备
mCameraDevice = camera;
}
@Override
public void onDisconnected(@NonNull CameraDevice camera) {
//摄像头断开连接
}
@Override
public void onError(@NonNull CameraDevice camera, int error) {
//打开错误
}
}, mHandler);
　　创建一个采集会话
　　成功打开相机并获取相应的CameraDevice之后，我们需要创建一个采集会话以提供程序与相机之间的通信.
　　函数原型是公共抽象void createCaptureSession（列表输出，CameraCaptureSession.StateCallback回调，Handler处理程序）引发CameraAccessException.
　　传入的第一个参数是需要采集的Surface. 为了监视会话的创建，我们需要传递CameraCaptureSession.StateCallback回调. 当然，第三个参数是允许在相应的Handler所在的线程中执行操作.
　　//获取一个采集Session会话，正常流程回回调到CameraCaptureSessionStateCallback的onConfigured方法
mCameraDevice.createCaptureSession(Arrays.asList(mSurfaceView.getHolder().getSurface()), new CameraCaptureSession.StateCallback() {
@Override
public void onConfigured(@NonNull CameraCaptureSession session) {
//会话创建成功
//mCameraCaptureSession也就是新创建的会话
mCameraCaptureSession = session;
}
@Override
public void onConfigureFailed(@NonNull CameraCaptureSession session) {
//会话创建失败
}
}, mHandler);
　　PS: 对于某些业务需求，有必要提高捕获帧速率（120fps及以上）. 这个createConstrainedHighSpeedCaptureSession（）会话可以很好地支持此功能.
　　发送采集请求
　　当您需要开始采集时，需要构造一个采集请求，然后将该请求发送到采集会话.
　　//创建一个基于录制的请求
mRequest = mDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);
//将需要的目标Surface加入Target列表
mRequest.addTarget(surface);
//重复发送这个请求，进行持续的采集
mCameraCaptureSession.setRepeatingRequest(mRequest.build(), NULL, mHandler);
　　原创数据回调
　　在获取Camera1时，通常通过设置setPreviewCallbackWithBuffer（）和addCallbackBuffer（）来获取采集的原创数据，那么该功能如何在Camera2中实现？
　　我们可以使用ImageReader类:
　　//ImageReader是一个数据回调模块，类似于Camera1的setPreviewCallbackWithBuffer
mReader = ImageReader.newInstance(mConfig.mWidth, mConfig.mHeight, mConfig.mFormat, 2);
mReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
@Override
public void onImageAvailable(ImageReader reader) {
Image image = reader.acquireNextImage();
//数据处理
image.close();
}
}, mHandler);
　　我们需要在createCaptureSession（）的第一个参数中传递ImageReader的Surface:
　　//通过ImageReader.getSurface()获取一个Surface并将其传给Session中
mCameraDevice.createCaptureSession(Arrays.asList(mReader.getSurface())//....);
　　然后将这个目标添加到CaptureRequest中:
　　//当然，构造请求时，需要将该Surface同时加入到Request的Target列表中
mRequest.addTarget(mReader.getSurface());
　　参考资料
　　对于Camera2相关的项目，我们通常可以参考以下项目:
　　googlesamples / android-Camera2Basic
　　google / cameraview
　　结论
　　本文简要介绍了基于Camera2 API的Android平台的相机采集功能.
　　尽管Camera2是Google推荐的当前采集框架，但是由于制造商的兼容性问题，Camera2的API功能相对不稳定；
　　因此，作者仍然建议开发以Camera1作为主要集合，而Camera2作为辅助集合的体系结构. 查看全部

　　更新时间：2019年12月20日 10:02:43 转载作者：flysnownet
　　这篇文章主要介绍了PHP+fiddler抓包采集微信文章阅读数点赞数的思路，非常不错，具有一定的参考借鉴价值,需要的同学可以参考下
　　简介：
　　分析插口晓得要获取文章阅读数和点赞数必须有key和uin这两个关键参数文章采集api，不同公众号key不一样（据说有万能陌陌key，不懂如何搞到）文章采集api，同一个公众号key大约半小时会过期
　　提交链接获取文章阅读量api
　　思路：
　　1.将客户端恳求阅读量插口的恳求拦截转发到自己服务器，这样就可以获取到key ，用__biz关联缓存半小时
　　2.提交文章链接进行查询时，服务器从文章链接里获取__biz，查询是否缓存了当前公众号对应的key,有的话进行第3步，没有进行第4步。
　　3.curl恳求 接口获取数据
　　4.key不存在时，通知客户端重定向到该url（通知用websocket通知或则客户端ajax协程，需要用抓包工具更改文章详情页代码使其跳转到中间页面待命，打开文章页面后隔几秒挪到中间页）并暂停程序几秒等待客户端更新key,此时客户端递交了新的key,用其进行查询
　　实现
　　1.抓包
　　此插口就是获取阅读量的插口，参数如下图
　　
　　
　　2.将此插口拦截转发到自己服务器，点击 rules- customize rules 在OnBeforeRequest（正式恳求之前执行的函数）加上
　　
if (oSession.fullUrl.Contains("mp.weixin.qq.com/mp/getappmsgext"))
{
oSession.oRequest["Host"]= 'ccc.aaa.com' ;
}
　　
　　效果，可以见到此插口早已被转发
　　
　　3.服务端缓存key，代码以PHP为例
　　
public function saveKey(Request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
Cache::set($__biz,$data,30 * 60);
return 'ok';
}
　　4.提交文章链接查询API代码
　　
public function getReadNum(Request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = Cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post请求
$datafields = $data;//post数据
$cookiefile = '';//cookie文件
$cookie = '';//cookie变量
$v = false;

//模拟http请求header头
$header = array("Connection: Keep-Alive","Accept: text/html, application/xhtml+xml, */*", "Pragma: no-cache", "Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-US;q=0.5,en;q=0.3","User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36 QBCore/4.0.1278.400 QQBrowser/9.0.2524.400 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2875.116 Safari/537.36 NetType/WIFI MicroMessenger/7.0.5 WindowsWechat");
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, $v);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
$ifpost && curl_setopt($ch, CURLOPT_POST, $ifpost);
$ifpost && curl_setopt($ch, CURLOPT_POSTFIELDS, $datafields);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$cookie && curl_setopt($ch, CURLOPT_COOKIE, $cookie);//发送cookie变量
$cookiefile && curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);//发送cookie文件
$cookiefile && curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);//写入cookie到文件
curl_setopt($ch,CURLOPT_TIMEOUT,60); //允许执行的最长秒数
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
　　5.通知客户端重定向页面（这部份没写，看参考我的其他关于文本socket文章）
　　6.用fiddler更改陌陌文章也jsj脚本,
　　在OnBeforeResponse（返回给客户端之前执行的方式），加上跳转到中间页的代码
　　效果
　　
　　总结 查看全部