php禁止网页抓取(吃完虾爬什么，怎么爬才是导致锒铛入狱的罪魁祸首？ )

　　php禁止网页抓取(吃完虾爬什么，怎么爬才是导致锒铛入狱的罪魁祸首？

)

　　导读

　　偶尔大数据公司被抓，不法流量自媒体就是为了博眼球，夸大事实，说爬虫玩的好，监狱早点吃，想学爬虫就瑟瑟发抖，怕自己写爬虫被抄进去了，我很害怕，我：说实话，我对大部分新技术能力想的太多了。这种贸然下结论的方式，类似于先吃虾再吃维生素C的*敏*感*词*中毒理论。同理，无剂量谈毒——都是流氓行为。

　　从技术中立的角度来看，爬虫技术本身不存在违法违规行为。爬什么、怎么爬是导致二当入狱的罪魁祸首。Github上有一个库，记录了国内爬虫开发者诉讼和违规相关的新闻、资料、法律法规：

　　为了节省读者的时间，我们可以直接总结：

　　1、 忽略robots协议，爬取不给爬取数据

　　robots.txt，纯文本文件，网站管理者可以在这个文件中声明不希望被搜索引擎访问的部分，或者指定搜索引擎只指定收录的内容，语法很简单：

　　通配符 (*) → 匹配零个或多个任意字符；

　　匹配字符 ($) → 匹配 URL 末尾的字符；

　　User-agent → 搜索引擎爬虫的名字，各大搜索引擎都有固定的名字，比如百度百度百科，如果该项为*（通配符），表示该协议对任何搜索引擎爬虫都有效；

　　Disallow → 禁止路径；

　　Allow → 允许访问的路径；

　　但是，这个协议可以说是君子协议。谨防君子，不防小人，无视机器人协议随意抢网站内容，将涉嫌构成违反《反不正当竞争法》第二条，即违反《反不正当竞争法》第二条。诚实。信用原则和商业道德的不公平竞争。

　　2、强行突破网站设定的技术措施

　　网站一般会做反爬，以减轻爬虫批量访问给网站带来的巨大压力和负担。爬虫开发者通过技术手段绕过反爬虫，客观上影响网站正常运行（甚至挂机），适用反不正当竞争法第十二条（四)其他障碍、行为）扰乱其他运营商合法提供的网络产品或者服务的正常运行的。

　　强行突破已经爬取和发布的一些具体技术措施，也可能构成*敏*感*词*行为。

　　这里稍微提防一下：为非法组织提供爬虫相关服务，也可能间接承担刑事责任。在这种情况下，*敏*感*词*极端黑客就是模板。尽管技术本身是无辜的，但您已经开发了它并被定罪。使用它的分子同样负责。

　　3、爬取特定类型的信息

　　1）用户个人隐私

　　2）用户个人信息

　　3）受版权法保护的产品

　　4）商业机密

　　5）保护数据免受不公平竞争

　　如果担心自己写的爬虫违法，可以看一看，总结一下爬山的基本伦理：

　　先确定要爬什么网站：国事、国防建设、前沿科技等领域的不要碰；

　　确定哪些内容：不触碰个人隐私、个人信息、商业秘密；受著作权法和不正当竞争保护的数据，最好是偷偷享用，不要传播和营利（比如数据分析，见下文~）。

　　爬取方法：轻柔一点，尽量不要影响正常用户的使用，水会继续流，其他人网站会被挂掉，不做就奇怪了。

　　机器人协议：嗯...我是一个恶棍

　　天网已满，稀稀拉拉但不容错过~

　　相信对爬虫非法类别的解读可以打消一些想学Python爬虫的小白梦心的顾虑。爬虫学习

　　相信进来看看的朋友都对爬虫很感兴趣，我也是。当我第一次接触爬行动物的时候，就被深深吸引了，因为我觉得SO COOL！每当我打完代码，看着屏幕上飘浮的一串数据，都有一种成就感，有没有？而且爬虫技术可以应用到很多生活场景，比如自动投票，批量下载有趣的文章，小说，视频，微信机器人，爬取重要数据进行数据分析啊，我真的感觉这些代码都是为自己写的，可以为自己和他人服务，所以人生太短，我选择爬虫。

　　1、要学习爬虫，首先要了解什么是爬虫？

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常被称为网络追逐者）是根据一定规则自动从万维网上爬取信息的程序或脚本。其他不太常用的名称是 ant、autoindex、emulator 或 worm。

　　其实说白了，爬虫可以模拟浏览器的行为为所欲为，自定义自己的搜索和下载内容，实现操作自动化。比如浏览器可以下载小说，但有时不能批量下载，所以爬虫的功能就派上用场了。

　　2、爬虫学习路线

　　学习Python爬虫的一般步骤如下：

　　1）。首先学习基本的Python语法知识

　　2）.学习Python爬虫常用的几个重要的内置库，urllib，http等，用于下载网页

　　3)。学习正则表达式re、BeautifulSoup(bs4）、Xpath(lxml)等网页解析工具

　　4)。开始一些简单的网站爬取（博主从百度开始，哈哈）了解爬取数据的过程

　　5)。了解爬虫、header、robot、时间间隔、代理ip、隐藏字段等的一些反爬机制。

　　6)。学习一些特殊的网站爬取，解决登录、cookies、动态网页等问题。

　　7)。了解爬虫和数据库的结合，如何存储爬取的数据

　　8)。学习应用Python的多线程多进程爬取提高爬虫效率

　　9)。学习爬虫框架、Scrapy、PySpider等。

　　10).学习分布式爬虫（海量数据需求）

　　3、Python爬虫Selenium库的使用

　　1）基础知识

　　首先，要使用python语言作为爬虫，需要学习python的基础知识，以及HTML、CSS、JS、Ajax等相关知识。这里列举一些python中爬虫相关的库和框架：

　　1.1、urllib和urllib2

1.2、Requests

1.3、Beautiful Soup

1.4、Xpath语法与lxml库

1.5、PhantomJS

1.6、Selenium

1.7、PyQuery

1.8、Scrapy

......

　　由于时间有限，本文只介绍Selenium库的爬虫技术，如自动化测试，以及其他库和框架的资料。有兴趣的小伙伴可以自行学习。

　　2)硒基础知识

　　2.1、Selenium是一款用于测试网站的自动化测试工具，支持包括Chrome、Firefox、Safari等多种主流界面浏览器在内的多种浏览器，也支持phantomJS无界面浏览器。

　　2.2、安装

　　pip install Selenium

　　关于Python技术储备

　　学好 Python 是赚钱的好方法，不管是工作还是副业，但要学好 Python，还是要有学习计划的。最后，我们将分享一套完整的Python学习资料，以帮助那些想学习Python的朋友！

　　一、Python全方位学习路线

　　Python的各个方向都是将Python中常用的技术点进行整理，形成各个领域知识点的汇总。它的用处是你可以根据以上知识点找到对应的学习资源，保证你能学得更全面。

　　

　　二、学习软件

　　工人要做好工作，首先要磨利他的工具。学习Python常用的开发软件就到这里，为大家节省不少时间。

　　

　　三、入门视频

　　当我们看视频学习时，没有手我们就无法移动眼睛和大脑。更科学的学习方式是理解后再使用。这时候动手项目就很合适了。

　　

　　四、实际案例

　　光学理论是无用的。你必须学会​​跟随，你必须先进行实际练习，然后才能将所学应用于实践。这时候可以借鉴实战案例。

　　

　　五、采访信息

　　我们必须学习 Python 才能找到一份高薪工作。以下面试题是来自阿里、腾讯、字节跳动等一线互联网公司的最新面试资料，部分阿里大佬给出了权威答案。看完这套面试材料相信大家都能找到一份满意的工作。

　　

　　

　　本完整版Python全套学习资料已上传至CSDN。需要的可以微信扫描下方CSDN官方认证二维码免费获取【保证100%免费】