网络爬虫技术在大数据审计中的应用

　　［提要］在大数据审计面临着众多机遇和挑战的大背景下，有效清晰的数据在审计过程中发挥着重大作用大数据网络爬虫原理，本文剖析不同的审计数据的特性以及采集审计数据的方式。在传统数据采集方法基础上研究怎样基于Python借助网路爬虫采集审计数据，以为大数据审计技术的发展提供支持。

　　关键词：网络爬虫；数据采集；审计剖析；Python

　　本文为2017年安徽财贸职业学院“内涵提高全员行动计划”科学研究项目（人文社科）：“大数据在审计剖析程序中的运用研究”（项目编号：2017nhrwc15）

　　中图分类号：F239 文献标识码：A

　　收录日期：2019年1月18日

　　一、引言

　　无论是国家审计还是民间审计，在*敏*感*词*（2017）将大数据审计平台拆分为采集、预处理、分析和可视化四个子平台，基于方式支撑、过程建模和运行机理等方面对各个子平台作以专项研究，旨在为大数据审计实践提供建设性思路。秦荣生（2014）指出大数据、云计算技术的形成和发展，正在逐步影响审计技术和技巧的发展。

　　大数据具有数据体量巨大、处理速率快、数量种类多和商业价值高的特性。被审计对象的信息化使得审计人员在审计方式上愈发的信息化，如果将这种大量的、散落的、无序的数据进行集中化、结构化，将其弄成才能便捷获得可读取的审计数据，并通过审计剖析程序发觉愈发有效和清晰的审计线索，那么大数据将会发挥重大的商业价值。由此可见，数据是审计剖析的重要前提，获取高质量数据常常就能帮助审计人员快速发觉风险点进行应对，大大提升审计的效率和疗效。目前，尚未有成熟的审计大数据搜集与整理技术，这影响了大数据在审计中使用的效率。本文将基于目前大数据的研究现况，主要阐述审计人员应该怎样借助网路爬虫技术从网路渠道获取所需审计数据，从而扩展审计数据的范围，获得更多的审计线索，提高审计剖析疗效。

　　二、审计大数据采集分析

　　（一）审计大数据类型。大数据审计区别于传统的审计模式，传统审计模式倾向于根据被审计单位提供的相关资料去鉴证其是否真实可靠。而大数据审计是一种实时审计，强调审计人员应该主动地去获取企业内部和企业外部的数据，企业内部的业务数据主要借助被审计单位提供，而外部数据，比如法律、银行、税务、供应商、客户、物流等其他数据须要审计人员去挖掘和剖析。从目前来看，审计大数据可以分为两类：一类是结构化数据，它由明晰定义的数据类型组成，比如数字、货币、日期等，其模式可以让其便于搜索。这种数据通常存储在数据库里，比如企业ERP系统中的销售数据、生产数据、财务数据等；另一类是非结构化数据，是指这些不便捷用数据库二维逻辑来表现的数据，如办公文档、文本、图片、HTML图象等，审计人员须要的外部数据以非结构化数据类型居多。

　　（二）审计大数据采集方法

　　1、直接拷贝读取。审计人员首先判定出自己须要的审计数据，然后按照被审计单位使用的财务软件（如用友、用友）的使用特性，利用软件数据库早已预设好的指令去提取转换审计人员所须要的数据，并将其保存为Excel等格式。

　　2、开放数据互联（ODBC）。如果被审计单位与审计人员使用的是可以对接的数据库，可以通过相关的数据访问插口访问被审计单位所使用的业务系统数据库，并将数据进行还原后转出，成为审计人员可以直接借助的数据。

　　3、中间文件采集。指审计人员与被审计单位约定好数据的格式，被审计单位根据要求将自己的相关数据转换成约定的格式，比如说文本文件格式，这种大部分数据库都还能直接读取的格式，从而省去了两种不同数据库对接的问题。

　　4、网上采集。除了被审计单位或则上级审计机关提供的相关数据以外，审计人员依然须要从被审计单位外部获得相关的工商、税务、行业、媒体等公开数据以进行多方面的审计剖析，这些数据并不是被直接提供的结构化数据，需要审计人员采用一定的方式从网上进行采集。

　　目前，审计数据采集大部分采用的是上述的前三种方式，往往依托一定的数据库基础，能够获得的信息大多基于被审计单位，最后一种网上采集数据的方式因为没有统一的方式和技术，耗费大量时间和经历，往往未能实现，这大大限制了审计人员进行审计剖析的范围，同时也让审计的取证率无法达到预期，从某种程度上提升了审计风险。在大数据审计背景下，审计人员执行剖析程序不能仅仅将眼光局限于内部数据，更应该从网路公开数据中获取愈发全面的信息，但是这种信息大多以网页等格式存在，难以被审计人员直接用于剖析，所以本文提出可以借助网路爬虫技术抓取网页上的信息，并整理成一定的格式，方便审计人员从海量数据中发觉审计线索，使审计剖析程序发挥更大的效用。

　　三、网络爬虫在审计大数据采集中的应用

　　网络爬虫技术又被称为网路蜘蛛，是一种根据被设定的规则手动获取网页内容的程序脚本。目前，网络爬虫技术被越来越多的运用于互联网中，它还能依据不同的程序代码设定指令，自动获取网页内任何权限的信息数据。程序开始后，按照设定程序，网络爬虫会不断地从URL抓取用户须要的内容，直到满足停止条件，并对抓取到的数据进行分类整合处理大数据网络爬虫原理，用户可以按照自己的查询需求，从中筛选自己所须要的数据。通过网路爬虫还能为大数据剖析提供更高质量的数据源。

　　利用网路爬虫技术施行审计剖析程序的过程主要有以下几步：首先，锁定目标。根据审计目标确定想要获取的目标数据，明确这种数据主要分布的网页是哪些；其次，目标网页剖析。为了更高效率的抓取到相关数据，要对目标网页进行结构上的剖析，主要是其数据访问的路径和逻辑；再次，数据抓取。通过选择好的软件执行命令，获得数据结果进行保存；最后，数据剖析。将通过上述程序获得的数据进行清洗，获得目标数据，可以结合例如SQL查询、Excel剖析、数据可视化等技术对数据进行进一步的剖析、扩展和确认。

　　利用网路爬虫技术施行审计剖析程序的原理主要是能否从被审计单位*敏*感*词*，发现更多相关线索，同时也促使审计证据愈发充分可靠。

　　四、网络爬虫在审计大数据采集中应用案例

　　XX集团*敏*感*词*创建于1957年，*敏*感*词*属贸易、智能健康、教育与技术服务等产业格局的小型企业集团。截至2017年底，拥有全资及控股一级子公司34家。2017年，完成销售收入933亿元、利润25亿元，甲*敏*感*词*事务所接受委托对该公司进行2017年年度财务报表审计。审计人员在审计过程中发觉该公司下一子公司有大量进行一次*敏*感*词*易的顾客，并且这种顾客都采用了赊购的形式，所以审计人员对这种交易形成了怀疑，认为被审计单位的应收账款“存在”认定有重大错报风险。为进一步获得审计证据，审计人员首先须要被审计单位提供数据库内关于顾客的信息并进行查验以验证这种顾客的真实性。此时，被审计单位提供信息的可靠性较差，审计人员只能考虑从外部获得审计数据进行比较剖析，从而判定顾客信息的准确性。如果考虑直接从官方网站获得具体工商数据，审计人员将面临权限受限和工作量巨大等问题。此时，网络爬虫技术才能为这一困局提供挺好的解决方案，提高工作效率。

　　在选择网路爬虫技术时，审计人员选择了目前应用范围相对较广的Python。相对于其他网路爬虫技术，基于Python的网路爬虫技术具有以下优点：一是简约便捷。Python语言最大的特征就是只须要一个简单的编辑器才能满足大部分用户的网路爬虫技术需求，可以使操作人员很快的适应环境，而不用耗费过多的精力；二是具有框架技术。如果所须要抓取的数据量较大，则可以使用Python的Scrapy框架实现，它能提供一个功能强悍的模板来实现爬虫，仅仅须要根据需求进行简单的更改就可以使用，而不是去进行重新的开发。

　　审计人员通过Python实现了网路爬虫，从“天眼查”网站上获取相关企业的工商信息。其中部份代码如图1所示，获得的部份结果如表1、图2所示。最终审计人员通过网路爬虫技术迅速获得了审计须要的相关数据，筛选出目标企业，进一步进行了审计剖析，与被审计单位提供的有关信息进行比对，得出了其中有18家企业信息涉嫌作假，实为虚构交易的推论，为预收账款的进一步审计提供了重要审计证据。（图1、图2、表1）

　　五、结语

　　随着大数据在审计中的运用广泛，高效的数据采集办法也是值得研究的重要内容。本文通过研究大数据的特性，以及对审计数据的采集办法进行剖析，提出了基于Python的数据爬虫在审计数据采集中的运用，帮助审计人员快速高效地从网页上获得相关数据，为进一步的审计剖析奠定了基础，这也为大数据在审计中的应用技术研究提供了支持。

　　（作者单位：安徽财贸职业学院）

　　主要参考文献：

　　［1］秦荣生.大数据、云计算技术对审计的影响研究［J］.审计研究，2014（6）.

　　［2］刘国城，王会金.大数据审计平台建立研究［J］.审计研究，2017（11）.

　　［3］韦玮.精通Python网络爬虫［M］.北京机械工业出版社，2017.