文章自动采集和发布(文章自动采集和发布过程中解析开发一个正确的爬虫系统)

　　文章自动采集和发布(文章自动采集和发布过程中解析开发一个正确的爬虫系统)

　　文章自动采集和发布过程，是利用python爬虫系统实现的，今天就来看一下爬虫系统的结构。上一篇文章我们说道只需要一个主程序，就可以实现上传文件。有了一个模板主程序，就可以很方便的实现海量文件上传了。代码是这样的：[调用接口编译并发布页面](云天明：爬虫系统)到这，我们终于实现了一个可以提供海量文件，并且可以进行海量文件上传操作的可工具型程序。

　　然而，上传一个文件可并不是一件那么简单的事情。提供海量文件上传的工具模板主程序没有数据抓取，那么这就不是一个爬虫系统了。直到了解更多爬虫系统的知识，才知道，爬虫系统真正是一个比较庞大的系统，不光是开发一个爬虫系统，就是开发一个比较复杂的爬虫系统都可以耗去一篇几千字的文章。于是，再次转向对爬虫系统进行理论性的构建。

　　发现要从爬虫发展过程中解析开发一个正确的爬虫系统，还要经历这样几个过程：收集，处理，发布和上传。本篇文章，先做到编译并发布一个爬虫系统，其他过程后续慢慢梳理。需要理解的是：原本我们是通过网页接口发布的上传海量文件的程序，只是接口是浏览器，为了让代码可移植性更强，我们将主程序改成了直接在代码中发布的服务器端程序。

　　等到在代码中操作并上传完所有结果时，再将程序传到浏览器。在实现过程中，发现海量文件接入爬虫所需的工作量是比较大的，于是总结出下面几点，欢迎讨论交流！原来我们是通过网页接口发布的上传文件的程序，只是接口是浏览器，为了让代码可移植性更强，我们将主程序改成了直接在代码中发布的服务器端程序。等到在代码中操作并上传完所有结果时，再将程序传到浏览器。

　　那么从发布-登陆-发布完成是这样的：如果我们从网页发布，那么：登陆完成会返回一个账号对应的密码。上传完成后获取api文件服务器地址，将文件上传到指定的服务器端上。对于复杂的信息，还需要有一些数据库，分布式，磁盘存储，推送和压缩等开发难度。那么本篇文章，就来说一下其中的几点简单的过程：step1：发布程序包含了一个爬虫系统所需要的所有命令：step2：爬虫在代码中执行一个中间代码块，该中间代码块就是调用代码系统的接口，发送一个函数参数。

　　在执行这个函数时，先对函数进行编译，并且上传一个url给这个爬虫系统，这个url就是url的api文件(类似于api文件)，之后代码会使用这个url，执行api文件的api函数（一般在\\.\\之后）。这里先占一段空间，下一篇再填~。