文章采集文章采集(如何解决拼车信息泄露呢？代理怎么做？(一))

　　文章采集文章采集(如何解决拼车信息泄露呢？代理怎么做？(一))

　　文章采集文章采集是运营者采集外部网站中的文章，相当于要访问很多网站。例如微信的朋友圈、领英的领英medium、知乎的问题、头条的新闻、百度知道的内容等等。解决方案是采集网站的原始html，然后进行内容提取。但是这样的结果很可能会导致文章来源地域受限。实际上外部的链接是不断更新的，因此不存在“来源地域”。

　　如何解决这个问题呢？解决方案是利用爬虫代理来抓取本地的链接。爬虫代理就是依靠自动爬虫程序来爬取对方网站上所有的链接。以拼车产品为例，客户可以提供一个订单号（例如2535041462）作为爬虫代理（假设这个订单号已经存在），运营者可以借助自动爬虫程序对爬取的网站采集。最终拼车的结果就可以通过订单号查询到了。

　　爬虫程序采集代理的时候，可以非常灵活，只要能够方便用户找到代理。解决方案1.简易分布式pythonweb框架xpathpages。django框架在web框架中的使用如下：djangowsgi(webprogramminginterface)apiclientdefault=django.conf.settings.default.wsgi.settings.base_settingsclient=django.conf.settings.default.wsgi.clientdefault_urls={"default":{"base_urls":{"url_list":[{"url_list":[]}]}}}2.百度爬虫做拼车产品的网站有很多，想采集用户信息。

　　这时候想使用用户信息是不可能的。很多网站的用户信息来源有限，因此用户信息不会总是存在。例如，新浪微博，mtime网站，qq部落，qq空间等等，这些应该是提供给用户的。但在这些网站，如果对网站提供的用户信息不作任何限制，用户的隐私将是被泄露。因此如何解决拼车信息泄露呢？怎么保证拼车信息是本地的？拼车信息如何保存在服务器上呢？当然可以使用阿里云服务器搭建一个拼车信息服务器，这样可以方便拼车信息的保存和使用。

　　拼车信息服务器使用命令行方式配置，这样也会更加直观。具体参见：web服务器安装及配置拼车服务器部署搭建搭建命令行拼车信息服务器，就可以通过阿里云控制台提供的命令行工具或者网站管理员工具进行拼车业务的管理。以使用qq拼车服务器为例，如下图所示：提供拼车服务的功能可以自定义命令行工具，配置拼车服务器的配置文件。

　　配置完成后，在命令行工具中：pythonserver.pystartproxy(“”)#在本地创建服务器，服务器端口号为::80/last=proxy("")#本地调用服务器access={"authorization":""}#设置为access头。