通过关键词采集文章采集api，保存为word文件！
　　通过关键词采集文章采集api，然后按照第一步来。文章每篇5k，保存为word文件。然后可以根据不同的关键词匹配不同的页面标题。按照权重分类，正常情况下，系统会根据先后面的标题来进行过滤，留下权重最高的排列在前面。后面的文章重新排列在后面。一般传统站点适用。
　　a/所有内容、网站其他文章爬取，可通过爬虫应用工具api+爬虫工具网站文章或b/少量内容google搜索相关内容，比如这篇文章google搜索:apple-iphoneandroidpadiphoneandroidpadhowtoprepareanddesignappswithgoogleplayongoogleapps，可得到对应的页面，直接进行爬取，
　　也可以用爬虫google搜索adwords关键词，基本能找到大部分。
　　
　　最好采集整个博客列表，然后定向搜索，方法有两种：1.手动一个一个抓，最难，最累，最烦，不值得。2.用深度学习+机器学习，后面是对每个用户（可以基于reddit等网站）爬取数据，
　　我来回答一下，我正在使用谷歌的adwords采集页面，一共有adstroy、adslfit、adsshare、adstockpage4个采集页面。
　　1、在googleadsense登录页面，用爬虫直接采集，采集结果会显示在dashboard。
　　2、在googlesearch工具条的instaduck图标点击，之后选择“requestads”，注意我选择的不是adstroy，而是“adslumen”，反之亦然。
　　
　　3、选择完毕后，我们就会找到需要的网站列表，然后将链接粘贴过去，可以看到网站列表已经变成adstroy列表。
　　4、现在，我们来爬，爬取之后，我们会看到googleadsense列表部分网站列表已经被爬取，一点点选择adstroy网站。
　　5、找到想要的网站的特定关键词，注意，关键词可能很长，不知道怎么写的话，将网站右侧inverted的网址输入，回车即可。
　　6、点击bookmark就能将网站内容爬取并显示在dashboard上。 查看全部

　　杭州校园招聘网站爬虫技术采集的技术应用--爬虫
　　通过关键词采集文章采集api，然后再通过api采集网页。github在这里，要是想免费，自己写爬虫，
　　excel
　　编写爬虫
　　javascript
　　
　　采集网页+node.js+浏览器内核
　　原理大概就是先采集某些平台的url，再去这些平台的开放平台抓取新的url，有些平台可能会查重，有些平台可能会封ip，所以需要根据自己的需求来定。
　　得看看在哪个方向去采，采集算法是不是刚需，比如前段红包、秒杀、好友活动，比如后端平台怎么采，数据量有多大，各大平台流量瓶颈在哪里等。
　　根据现有网站特征，结合你的自身资源，做出一份价值文章，甚至直接一稿多投。
　　互联网采集，你得看你具体什么需求吧。
　　
　　我也想知道，我正在做一个采集个人博客内容的网站，
　　讲讲在的经验，学校从事的工作，为企业提供爬虫抓取服务，后端的，一套定制程序，从各种渠道抓取网站内容，然后又统一加工到一个文件里。然后又从部门抓取，再统一放到自己的需要抓取的网站上去。写出来一个爬虫不难，难的是做好服务。
　　我来讲讲爬虫技术采集的技术应用。本人目前负责杭州校园招聘招聘网站的爬虫，大概是8年开始做到现在。从blog抓取，发展到企业招聘管理系统，你会发现这就是一种很广泛的技术可能性。
　　1、如果你只是新手对目标网站不知道如何才能抓取，那你从内部查看看网站架构，研究表单页面设计，网站埋点的效果，然后用爬虫抓取，至少你可以知道会爬到多少。
　　2、如果你已经可以知道什么是抓取，那你可以搜索我发现各种各样的方法了，然后你会发现你不知道如何才能把他采集下来。
　　3、我比较推荐的一种是你能了解一下互联网营销或者小型的小网站的推广是怎么回事，这样你就可以写相应的抓取程序，理清楚为什么有很多人愿意去推广一个网站并且采集，只要你的方法准确合理。暂时想到这么多，以后再补充。 查看全部

　　通过关键词采集文章采集api接口端和手机端的数据
　　通过关键词采集文章采集api接口pc端和手机端的数据，获取数据后可以再数据后面自定义标题的tag，发文章的时候把标题写在后面就好了。
　　1.有自动采集工具2.用单纯的爬虫不行，每次登录都要爬，一直保持在登录状态，
　　
　　一般只能采集/发布文章，但是大型网站，比如：百度，腾讯，淘宝上面都是有api接口可以直接接入的，
　　已经发布
　　有。先用抓包的软件抓到网站信息，再根据相应的代码写相应的文章。但是爬虫能爬的太局限，而且效率比较低。个人认为很多事情用简单的工具就能搞定，为什么非要写个爬虫。
　　
　　因为个人的规模太小，小到无法判断哪些东西是合法或者违法的，
　　目前常见的有tomcat等ide。但这种方式最大的弊端就是有业务，爬虫就有可能被人分析。比如我做b2c，基于商品名去爬，看有没有它的客户，通过同类商品看这个东西卖得如何，进而判断。有什么优点和缺点。自己写怕出问题。
　　首先这个问题我不明白什么意思。如果是指爬虫这种爬取商品的工具。所谓“海绵式”爬取就是爬虫一直向下爬。但事实上这种思路是针对数据量特别小，且本身产品的属性较为单一的产品来说。但是对于人来说，例如知乎，它的本身并没有什么属性属性就是某些话题属性。说实话，抓下抓下也不会太耗时间，适合自己当成抓取工具去使用就好。其实tomcat爬比这个更有效。 查看全部

　　通过关键词采集文章采集api，推荐你一个采集淘宝文章的方法
　　通过关键词采集文章采集api，推荐你一个采集淘宝文章的方法：淘宝万千合伙人淘宝万千合伙人这个app是通过关键词采集淘宝、天猫各种商品的信息，而且是免费的，最关键的是不需要电脑，完全免费，希望对你有帮助。
　　去找站长的ncq提取网页，都是免费的，但是在一些特殊的网站上是要收费的。
　　前段时间我写了篇这个的文章：，希望对你有帮助，
　　/
　　
　　为什么邀请我回答这个问题？
　　因为现在网上信息都是通过加工的啊不同产品的做法不一样比如我用马甲抓取速卖通的商品信息就要200一天然后就自己去外部转让了
　　招招呗，
　　加工同样的工序，
　　上淘宝买，免费的，用淘宝接口直接在后台抓取，
　　
　　想做就做。抓取很简单，写爬虫就可以了，
　　因为现在的信息都是通过加工而成的。
　　这个我很有兴趣，
　　留下邮箱。我给你发广告，
　　这样的例子很多呀。只要你愿意，很多文章都能免费拿到。我知道不少研究博物馆展品的。就是买api来抓的，连每一帧动画都可以抓。还有个群就是一个拍卖群，里面拍卖各种文物。
　　大家可以来一起赚钱交流，软件安卓多，价格合理，想赚一笔的话，很不错。 查看全部

　　如何轻松采集尽调信息？技术派律师用这个神器拯救你！| 未来星
　　
　　这是熊猫未来星的第60篇文章
　　文末扫码即可免费获得
　　优采云采集器专业版账号1个月使用期福利！
　　对于律师来说，高强度的任务量往往让我们面对尽职调查等工作黯然神伤。其实不是你的效率低，而是你少了一款手速快的飞起的工具，相信学会运用它们会让你的工作成果更惊艳、更高效！
　　今天月半推荐给大家一款神器：优采云。它能在很短的时间内，轻松从各种不同的网站或网页获取大量规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及手机数据的依赖，从而降低获取信息的成本，提高效率。
　　一、产品介绍
　　
　　优采云是国内领先的互联网数据收集平台，可以将网页非结构化数据转换成结构化数据，以数据库或EXCEL等多种形式进行存储。通过云采集实现精准，高效，大规模的数据采集，降低获取信息的成本，提高效率，协助用户进行电商价格监控，舆情分析，市场分析、风险监测、品牌检测等。
　　目前优采云采集平台拥有100万以上企业和个人用户。
　　二、主要功能
　　
　　优采云可以通过简单配置规则精准地从任何网页抓取数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10.实时采集互联网公开舆情，帮助政府部门建立舆情分析系统。
　　简单来说，优采云将为你创建一个快速稳定的数据获取平台，帮助你从各类繁杂无序的网页数据中轻而易举地获取你需要的信息。
　　三、企业基本信息采集——企业尽调
　　1、登录客户端后选择简易采集，在模板组内搜索下“天眼查”，当然也可以用其他企业信息平台的哦！
　　2、点击进行使用
　　
　　3、进入模版后可以看到模板采集的字段来自页面何处。
　　4、使用这个模板需要设置的参数。由于现在天眼查查看数据要登录了，故需输入账号和密码进行登录。
　　
　　5、数据示例中有最终采集结果的一个数据展示，点击右下角的【立即使用】即可进入参数设置页面。
　　6、按要求填写好参数后，启动采集，先本地遛一遛。
　　7、看优采云自动采集着，数据一条一条的冒出。
　　8、采好后导出成Excel文件，再此先举个栗子！
　　四、无讼公报案例采集
　　1、点击左上角+，选择“自定义采集”，生成新建任务后输入网址，点击保存网址后就会进行页面打开。
　　2、软件内置的浏览器将直接展现平时在浏览器中打开一模一样的内容。然后按我们平时在浏览器中浏览数据的思维步骤进行页面操作就好。例如这里要输入关键词进行搜索，那就先点击输入框后做【输入文字】
　　
　　3、文字输完后，就应该点击搜索了，那就点页面的【开始检索】，然后在操作提示里选“点击元素”，页面就会开始搜索了。
　　
　　4、得到搜索结果后要点击进入每一条的详细页面，看具体的案件信息并获取案件内容。我们按着这样操作思路来就行了！这里就不一一截图了，直接秀我的操作结果！
　　
　　5、启动采集试试看
　　
　　6、几分钟就将70个公报案例采集完了，这效率不怕太高！
　　
　　7、导出成Excel保存下~
　　五、新闻资料收集
　　1、在登录后选择简易采集。进入后选择【媒体阅读】，然后找到所需的网站【人民网】
　　2、点击进入后，选择该模板进行使用。
　　
　　3、字段预览中可看到该模板将采集页面上的哪些信息。
　　4、数据示例中也有最终采集结果的一个数据展示，点击右下角的【立即使用】即可进入参数设置页面。
　　5、然后填写相应参数，栏目指选择人民网下的具体某个栏目版本，也可专门选择法治板块，此处姑且全选吧！搜索关键词，暂且用下“贪污受贿”“电信诈骗”等法律相关内容；据说最多可以同时输入1万个关键词！也是666！最后页数不要多，就前100页的吧！参数都设置好后保存并启动。
　　
　　6、然后进静静的等待数据，让优采云孜孜不倦的工作吧！咱喝茶去~
　　
　　7、云采集效果更佳，截图为证！
　　8、数据都都导出看看，多种格式，姑且最常用的Excel瞄瞄。
　　9、这么多！这么全！满满的幸福感与满足感！再也不用当心缺材料了~
　　六、产品优势
　　1、免费使用
　　优采云是一款免费的网页数据采集工具，能够实现全网98%以上的数据采集，并且免费版本没有任何功能限制，任何人都可以在官网下载安装使用。
　　2、简单易用
　　无需再学爬虫编程技术，简单三步就可以轻松抓取网页数据，支持多种格式一键导出，快速导入数据库
　　3、高效采集
　　优采云模拟人的操作思维模式，配置规则简单。同时采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内获取成千上万条信息。
　　4、技术服务
　　优采云官网内置从入门到精通所需要的文档和视频教程，同时还有专业客服人员在微信、qq、论坛等平台提供技术指导及服务。
　　七、技术优势
　　1、全网适用
　　眼见即可采，不管是电商、媒体，还是贴吧论坛，支持所有业务渠道的爬虫，满足各种采集需求。
　　2、可视化流程操作
　　优采云采集器用户无需编写代码，只需依照可视化的流程，通过简单的规则制作实现全网数据提取。
　　3、海量模板
　　内置数百个网站数据源，全面覆盖多个行业，如京东、天猫、大众点评等热门采集网站，只需参照模板简单设置参数，就可以快速获取网站公开数据。
　　4、云采集
　　由5000多台云服务器支撑的云采集，7*24小时不间断运行，可实现定时采集，无需人员值守，灵活契合业务场景，帮你提升采集效率，保障数据时效性。
　　5、智能防封
　　优采云采集可根据不同网站，自定义配置组合浏览器标识(UA)，全自动代理IP，浏览器Cookie,验证码破解等功能，实现突破绝大多数网站的防采集策略。
　　6、API接口
　　通过优采云API，可以轻松获取优采云任务信息和采集到的数据，灵活调度任务，比如远程控制任务启动与停止，高效实现数据采集与归档。基于强大的API体系，还可以无缝对接公司内部各类管理平台，实现各类业务自动化。
　　7、稳定高效
　　分布式云集群服务器和多用户协作管理平台的支撑，可灵活调度任务，顺利爬取海量数据。
　　快来领取优采云采集器特别福利！
　　熊猫君为各位小伙伴争取了福利！扫码即可免费获得优采云采集器专业版账号1个月使用期福利！数量有限，先到先得～小伙伴们快来领取吧！
　　领取指南
　　1、点击快速注册，注册优采云账号。
　　
　　2、扫码登记信息，提交问卷等待优采云后台审核，预计7个工作日内，即可领取优采云专业版账号。
　　另外！恰逢优采云六周年活动，各个付费版本全年最低价，部分版本还可买一送一！
　　活动时间：12.20-12.26
　　活动链接：长按下方二维码即可参与
　　为了让更多的律界朋友可以系统掌握这方面的实务技能，我们耗费了大量精力，录制了可视化、系统化的《电子证据与互联网法院实务指南》系列课程视频，相信可以帮助你游刃有余地掌握电子证据实务技能。
　　往期
　　好文 查看全部

　　容器日志管理的最佳实践
　　摘要： 本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践。
　　背景
　　自 2013 年 dotCloud 公司开源 Docker 以来，以 Docker 为代表的容器产品凭借着隔离性好、可移植性高、资源占用少、启动迅速等特性迅速风靡世界。下图展示了 2013 年以来 Docker 和 OpenStack 的搜索趋势。
　　
　　容器技术在部署、交付等环节给人们带来了很多便捷，但在日志处理领域却带来了许多新的挑战，包括：
　　如果把日志保存在容器内部，它会随着容器的销毁而被删除。由于容器的生命周期相对虚拟机大大缩短，创建销毁属于常态，因此需要一种方式持久化的保存日志；
　　进入容器时代后，需要管理的目标对象远多于虚拟机或物理机，登录到目标容器排查问题会变得更加复杂且不经济；
　　容器的出现让微服务更容易落地，它在给我们的系统带来松耦合的同时引入了更多的组件。因此我们需要一种技术，它既能帮助我们全局性的了解系统运行情况，又能迅速定位问题现场、还原上下文。
　　日志处理流程
　　本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践，包括：
　　容器日志实时采集；
　　查询分析和可视化；
　　日志上下文分析；
　　LiveTail - 云上 tail -f。
　　容器日志实时采集
　　容器日志分类
　　采集日志首先要弄清日志存在的位置，这里以 Nginx、Tomcat 这两个常用容器为例进行分析。
　　Nginx 产生的日志包括 access.log 和 error.log，根据 nginx Dockerfile 可知 access.log 和 error.log 被分别重定向到了 STDOUT 和 STDERR 上。
　　Tomcat 产生的日志比较多，包括 catalina.log、access.log、manager.log、host-manager.log 等，tomcat Dockerfile 并没有将这些日志重定向到标准输出，它们存在于容器内部。
　　容器产生的日志大部分都可以归结于上述情形。这里，我们不妨将容器日志分成以下两类。
　　
　　标准输出
　　使用 logging driver
　　容器的标准输出会由 logging driver 统一处理。如下图所示，不同的 logging driver 会将标准输出写往不同的目的地。
　　
　　通过 logging driver 采集容器标准输出的优势在于使用简单，例如：
　　
　　缺点
　　除了 json-file 和 journald，使用其他 logging driver 将使 docker logs API 不可用。例如，当您使用 portainer 管理宿主机上的容器，并且使用了上述两者之外的 logging driver，您会发现无法通过 UI 界面观察到容器的标准输出。
　　使用 docker logs API
　　对于那些使用默认 logging driver 的容器，我们可以通过向 docker daemon 发送 docker logs 命令来获取容器的标准输出。使用此方式采集日志的工具包括 logspout、sematext-agent-docker 等。下列样例中的命令表示获取容器自2018-01-01T15:00:00以来最新的5条日志。
　　
　　缺点
　　当日志量较大时，这种方式会对 docker daemon 造成较大压力，导致 docker daemon 无法及时响应创建容器、销毁容器等命令。
　　采集 json-file 文件
　　默认 logging driver 会将日志以 json 的格式写入宿主机文件里，文件路径为/var/lib/docker/containers//-json.log。这样可以通过直接采集宿主机文件来达到采集容器标准输出的目的。
　　该方案较为推荐，因为它既不会使 docker logs API 变得不可用，又不会影响 docker daemon，并且现在许多工具原生支持采集宿主机文件，如 filebeat、logtail 等。
　　文本日志
　　挂载宿主机目录
　　采集容器内文本日志最简单的方法是在启动容器时通过 bind mounts 或 volumes 方式将宿主机目录挂载到容器日志所在目录上，如下图所示。
　　
　　针对 tomcat 容器的 access log，使用命令docker run -it -v /tmp/app/vol1:/usr/local/tomcat/logs tomcat将宿主机目录/tmp/app/vol1挂载到 access log 在容器中的目录/usr/local/tomcat/logs上，通过采集宿主机目录/tmp/app/vol1下日志达到采集 tomcat access log 的目的。
　　计算容器 rootfs 挂载点
　　使用挂载宿主机目录的方式采集日志对应用会有一定的侵入性，因为它要求容器启动的时候包含挂载命令。如果采集过程能对用户透明那就太棒了。事实上，可以通过计算容器 rootfs 挂载点来达到这种目的。
　　和容器 rootfs 挂载点密不可分的一个概念是 storage driver。实际使用过程中，用户往往会根据 linux 版本、文件系统类型、容器读写情况等因素选择合适的 storage driver。不同 storage driver 下，容器的 rootfs 挂载点遵循一定规律，因此我们可以根据 storage driver 的类型推断出容器的 rootfs 挂载点，进而采集容器内部日志。下表展示了部分 storage dirver 的 rootfs 挂载点及其计算方法。
　　
　　Logtail 方案
　　在充分比较了容器日志的各种采集方法，综合整理了广大用户的反馈与诉求后，日志服务团队推出了容器日志一站式解决方案。
　　
　　功能特点
　　logtail 方案包含如下功能：
　　支持采集宿主机文件以及宿主机上容器的日志（包括标准输出和日志文件）；
　　支持容器自动发现，即当您配置了采集目标后，每当有符合条件的容器被创建时，该容器上的目标日志将被自动采集；
　　支持通过 docker label 以及环境变量过滤指定容器，支持白名单、黑名单机制；
　　采集数据自动打标，即对收集上来的日志自动加上 container name、container IP、文件路径等用于标识数据源的信息；
　　支持采集 K8s 容器日志。
　　核心优势
　　通过 checkpoint 机制以及部署额外的监控进程保证 at-least-once 语义；
　　历经多次双十一、双十二的考验以及阿里集团内部百万级别的部署规模，稳定和性能方面非常有保障。
　　K8s 容器日志采集
　　和 K8s 生态深度集成，能非常方便地采集 K8s 容器日志是日志服务 logtail 方案的又一大特色。
　　采集配置管理：
　　支持通过 WEB 控制台进行采集配置管理；
　　支持通过 CRD（CustomResourceDefinition）方式进行采集配置管理（该方式更容易与 K8s 的部署、发布流程进行集成）。
　　采集模式：
　　支持通过 DaemonSet 模式采集 K8s 容器日志，即每个节点上运行一个采集客户端 logtail，适用于功能单一型的集群；
　　支持通过 Sidecar 模式采集 K8s 容器日志，即每个 Pod 里以容器的形式运行一个采集客户端 logtail，适用于大型、混合型、PAAS 型集群。
　　关于 Logtail 方案的详细说明可参考文章全面提升，阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比。
　　查询分析和可视化
　　完成日志采集工作后，下一步需要对这些日志进行查询分析和可视化。这里以 Tomcat 访问日志为例，介绍日志服务提供的强大的查询、分析、可视化功能。
　　快速查询
　　容器日志被采集时会带上 container name、container IP、目标文件路径等信息，因此在查询的时候可以通过这些信息快速定位目标容器和文件。查询功能的详细介绍可参考文档查询语法。
　　实时分析
　　日志服务实时分析功能兼容 SQL 语法且提供了 200 多种聚合函数。如果您有使用 SQL 的经验，能够很容易写出满足业务需求的分析语句。例如：
　　统计访问次数排名前 10 的 uri。
　　
　　统计当前15分钟的网络流量相对于前一个小时的变化情况。
　　
　　该语句使用同比环比函数计算不同时间段的网络流量。
　　可视化
　　为了让数据更加生动，您可以使用日志服务内置的多种图表对 SQL 计算结果进行可视化展示，并将图表组合成一个仪表盘。
　　
　　下图展示了基于 Tomcat 访问日志的仪表盘，它展示了错误请求率、网络流量、状态码随时间的变化趋势等信息。该仪表盘展现的是多个 Tomcat 容器数据聚合后的结果，您可以使用仪表盘过滤器功能，通过指定容器名查看单个容器的数据。
　　日志上下文分析
　　查询分析、仪表盘等功能能帮助我们把握全局信息、了解系统整体运行情况，但定位具体问题往往需要上下文信息的帮助。
　　上下文定义
　　上下文指的是围绕某个问题展开的线索，如日志中某个错误的前后信息。上下文包含两个要素：
　　下表展示了不同数据源的最小区分粒度。
　　
　　上下文查询面临的挑战
　　在日志集中式存储的背景下，采集端和服务端都很难保证日志原始的顺序：
　　在客户端层面，一台宿主机上运行着多个容器，每个容器会有多个目标文件需要采集。日志采集软件需要利用机器的多个 cpu 核心解析、预处理日志，并通过多线程并发或者单线程异步回调的方式处理网络发送的慢 IO 问题。这使得日志数据不能按照机器上的事件产生顺序依次到达服务端。
　　在服务端层面，由于水平扩展的多机负载均衡架构，使得同一客户端机器的日志会分散在多台存储节点上。在分散存储的日志基础上再恢复最初的顺序是困难的。
　　原理
　　日志服务通过给每条日志附加一些额外的信息以及服务端的关键词查询能力巧妙地解决了上述难题。原理如下图所示。
　　
　　日志被采集时会自动加入用于标识日志来源的信息（即上文提到的最小区分粒度）作为 source_id。针对容器场景，这些信息包括容器名、文件路径等；
　　日志服务的各种采集客户端一般会选择批量上传日志，若干条日志组成一个数据包。客户端会向这些数据包里写入一个单调递增的 package_id，并且包内每条日志都拥有包内位移 offset；
　　服务端会将 source_id、package_id、offset 组合起来作为一个字段并为其建立索引。这样，即使各种日志在服务端是混合存储的状态，我们也可以根据 source_id、package_id、offset 精确定位某条日志。
　　想了解更多有关上下文分析的功能可参考文章上下文查询、分布式系统日志上下文查询功能。
　　LiveTail - 云上 tail -f
　　除了查看日志的上下文信息，有时我们也希望能够持续观察容器的输出。
　　传统方式
　　下表展示了传统模式下实时监控容器日志的方法。
　　
　　痛点
　　通过传统方法监控容器日志存在以下痛点：
　　容器很多时，定位目标容器耗时耗力；
　　不同类型的容器日志需要使用不同的观察方法，增加使用成本；
　　关键信息查询展示不够简单直观。
　　功能和原理
　　针对这些问题，日志服务推出了 LiveTail 功能。相比传统模式，它有如下优点：
　　可以根据单条日志或日志服务的查询分析功能快速定位目标容器；
　　使用统一的方式观察不同类型的容器日志，无需进入目标容器；
　　支持通过关键词进行过滤；
　　支持设置关键列。
　　
　　在实现上，LiveTail 主要用到了上一章中提到的上下文查询原理快速定位目标容器和目标文件。然后，客户端定期向服务端发送请求，拉取最新数据。
　　您还可以通过观看视频，进一步理解容器日志的采集、查询、分析和可视化等功能。
　　「视频」在公众号中回复 “阿里云日志” 即可获取。
　　 查看全部

　　面向容器日志的技术实践
　　摘要： 本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践。
　　背景
　　自 2013 年 dotCloud 公司开源 Docker 以来，以 Docker 为代表的容器产品凭借着隔离性好、可移植性高、资源占用少、启动迅速等特性迅速风靡世界。下图展示了 2013 年以来 Docker 和 OpenStack 的搜索趋势。
　　
　　容器技术在部署、交付等环节给人们带来了很多便捷，但在日志处理领域却带来了许多新的挑战，包括：
　　如果把日志保存在容器内部，它会随着容器的销毁而被删除。由于容器的生命周期相对虚拟机大大缩短，创建销毁属于常态，因此需要一种方式持久化的保存日志；
　　进入容器时代后，需要管理的目标对象远多于虚拟机或物理机，登录到目标容器排查问题会变得更加复杂且不经济；
　　容器的出现让微服务更容易落地，它在给我们的系统带来松耦合的同时引入了更多的组件。因此我们需要一种技术，它既能帮助我们全局性的了解系统运行情况，又能迅速定位问题现场、还原上下文。
　　日志处理流程
　　本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践，包括：
　　容器日志实时采集；
　　查询分析和可视化；
　　日志上下文分析；
　　LiveTail - 云上 tail -f。
　　容器日志实时采集
　　容器日志分类
　　采集日志首先要弄清日志存在的位置，这里以 Nginx、Tomcat 这两个常用容器为例进行分析。
　　Nginx 产生的日志包括 access.log 和 error.log，根据 nginx Dockerfile 可知 access.log 和 error.log 被分别重定向到了 STDOUT 和 STDERR 上。
　　Tomcat 产生的日志比较多，包括 catalina.log、access.log、manager.log、host-manager.log 等，tomcat Dockerfile 并没有将这些日志重定向到标准输出，它们存在于容器内部。
　　容器产生的日志大部分都可以归结于上述情形。这里，我们不妨将容器日志分成以下两类。
　　
　　标准输出
　　使用 logging driver
　　容器的标准输出会由 logging driver 统一处理。如下图所示，不同的 logging driver 会将标准输出写往不同的目的地。
　　
　　通过 logging driver 采集容器标准输出的优势在于使用简单，例如：
　　
　　缺点
　　除了 json-file 和 journald，使用其他 logging driver 将使 docker logs API 不可用。例如，当您使用 portainer 管理宿主机上的容器，并且使用了上述两者之外的 logging driver，您会发现无法通过 UI 界面观察到容器的标准输出。
　　使用 docker logs API
　　对于那些使用默认 logging driver 的容器，我们可以通过向 docker daemon 发送 docker logs 命令来获取容器的标准输出。使用此方式采集日志的工具包括 logspout、sematext-agent-docker 等。下列样例中的命令表示获取容器自2018-01-01T15:00:00以来最新的5条日志。
　　
　　缺点
　　当日志量较大时，这种方式会对 docker daemon 造成较大压力，导致 docker daemon 无法及时响应创建容器、销毁容器等命令。
　　采集 json-file 文件
　　默认 logging driver 会将日志以 json 的格式写入宿主机文件里，文件路径为/var/lib/docker/containers//-json.log。这样可以通过直接采集宿主机文件来达到采集容器标准输出的目的。
　　该方案较为推荐，因为它既不会使 docker logs API 变得不可用，又不会影响 docker daemon，并且现在许多工具原生支持采集宿主机文件，如 filebeat、logtail 等。
　　文本日志
　　挂载宿主机目录
　　采集容器内文本日志最简单的方法是在启动容器时通过 bind mounts 或 volumes 方式将宿主机目录挂载到容器日志所在目录上，如下图所示。
　　
　　针对 tomcat 容器的 access log，使用命令docker run -it -v /tmp/app/vol1:/usr/local/tomcat/logs tomcat将宿主机目录/tmp/app/vol1挂载到 access log 在容器中的目录/usr/local/tomcat/logs上，通过采集宿主机目录/tmp/app/vol1下日志达到采集 tomcat access log 的目的。
　　计算容器 rootfs 挂载点
　　使用挂载宿主机目录的方式采集日志对应用会有一定的侵入性，因为它要求容器启动的时候包含挂载命令。如果采集过程能对用户透明那就太棒了。事实上，可以通过计算容器 rootfs 挂载点来达到这种目的。
　　和容器 rootfs 挂载点密不可分的一个概念是 storage driver。实际使用过程中，用户往往会根据 linux 版本、文件系统类型、容器读写情况等因素选择合适的 storage driver。不同 storage driver 下，容器的 rootfs 挂载点遵循一定规律，因此我们可以根据 storage driver 的类型推断出容器的 rootfs 挂载点，进而采集容器内部日志。下表展示了部分 storage dirver 的 rootfs 挂载点及其计算方法。
　　
　　Logtail 方案
　　在充分比较了容器日志的各种采集方法，综合整理了广大用户的反馈与诉求后，日志服务团队推出了容器日志一站式解决方案。
　　
　　功能特点
　　logtail 方案包含如下功能：
　　支持采集宿主机文件以及宿主机上容器的日志（包括标准输出和日志文件）；
　　支持容器自动发现，即当您配置了采集目标后，每当有符合条件的容器被创建时，该容器上的目标日志将被自动采集；
　　支持通过 docker label 以及环境变量过滤指定容器，支持白名单、黑名单机制；
　　采集数据自动打标，即对收集上来的日志自动加上 container name、container IP、文件路径等用于标识数据源的信息；
　　支持采集 K8s 容器日志。
　　核心优势
　　通过 checkpoint 机制以及部署额外的监控进程保证 at-least-once 语义；
　　历经多次双十一、双十二的考验以及阿里集团内部百万级别的部署规模，稳定和性能方面非常有保障。
　　K8s 容器日志采集
　　和 K8s 生态深度集成，能非常方便地采集 K8s 容器日志是日志服务 logtail 方案的又一大特色。
　　采集配置管理：
　　支持通过 WEB 控制台进行采集配置管理；
　　支持通过 CRD（CustomResourceDefinition）方式进行采集配置管理（该方式更容易与 K8s 的部署、发布流程进行集成）。
　　采集模式：
　　支持通过 DaemonSet 模式采集 K8s 容器日志，即每个节点上运行一个采集客户端 logtail，适用于功能单一型的集群；
　　支持通过 Sidecar 模式采集 K8s 容器日志，即每个 Pod 里以容器的形式运行一个采集客户端 logtail，适用于大型、混合型、PAAS 型集群。
　　关于 Logtail 方案的详细说明可参考文章全面提升，阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比。
　　查询分析和可视化
　　完成日志采集工作后，下一步需要对这些日志进行查询分析和可视化。这里以 Tomcat 访问日志为例，介绍日志服务提供的强大的查询、分析、可视化功能。
　　快速查询
　　容器日志被采集时会带上 container name、container IP、目标文件路径等信息，因此在查询的时候可以通过这些信息快速定位目标容器和文件。查询功能的详细介绍可参考文档查询语法。
　　实时分析
　　日志服务实时分析功能兼容 SQL 语法且提供了 200 多种聚合函数。如果您有使用 SQL 的经验，能够很容易写出满足业务需求的分析语句。例如：
　　统计访问次数排名前 10 的 uri。
　　
　　统计当前15分钟的网络流量相对于前一个小时的变化情况。
　　
　　该语句使用同比环比函数计算不同时间段的网络流量。
　　可视化
　　为了让数据更加生动，您可以使用日志服务内置的多种图表对 SQL 计算结果进行可视化展示，并将图表组合成一个仪表盘。
　　
　　下图展示了基于 Tomcat 访问日志的仪表盘，它展示了错误请求率、网络流量、状态码随时间的变化趋势等信息。该仪表盘展现的是多个 Tomcat 容器数据聚合后的结果，您可以使用仪表盘过滤器功能，通过指定容器名查看单个容器的数据。
　　日志上下文分析
　　查询分析、仪表盘等功能能帮助我们把握全局信息、了解系统整体运行情况，但定位具体问题往往需要上下文信息的帮助。
　　上下文定义
　　上下文指的是围绕某个问题展开的线索，如日志中某个错误的前后信息。上下文包含两个要素：
　　下表展示了不同数据源的最小区分粒度。
　　
　　上下文查询面临的挑战
　　在日志集中式存储的背景下，采集端和服务端都很难保证日志原始的顺序：
　　在客户端层面，一台宿主机上运行着多个容器，每个容器会有多个目标文件需要采集。日志采集软件需要利用机器的多个 cpu 核心解析、预处理日志，并通过多线程并发或者单线程异步回调的方式处理网络发送的慢 IO 问题。这使得日志数据不能按照机器上的事件产生顺序依次到达服务端。
　　在服务端层面，由于水平扩展的多机负载均衡架构，使得同一客户端机器的日志会分散在多台存储节点上。在分散存储的日志基础上再恢复最初的顺序是困难的。
　　原理
　　日志服务通过给每条日志附加一些额外的信息以及服务端的关键词查询能力巧妙地解决了上述难题。原理如下图所示。
　　
　　日志被采集时会自动加入用于标识日志来源的信息（即上文提到的最小区分粒度）作为 source_id。针对容器场景，这些信息包括容器名、文件路径等；
　　日志服务的各种采集客户端一般会选择批量上传日志，若干条日志组成一个数据包。客户端会向这些数据包里写入一个单调递增的 package_id，并且包内每条日志都拥有包内位移 offset；
　　服务端会将 source_id、package_id、offset 组合起来作为一个字段并为其建立索引。这样，即使各种日志在服务端是混合存储的状态，我们也可以根据 source_id、package_id、offset 精确定位某条日志。
　　想了解更多有关上下文分析的功能可参考文章上下文查询、分布式系统日志上下文查询功能。
　　LiveTail - 云上 tail -f
　　除了查看日志的上下文信息，有时我们也希望能够持续观察容器的输出。
　　传统方式
　　下表展示了传统模式下实时监控容器日志的方法。
　　
　　痛点
　　通过传统方法监控容器日志存在以下痛点：
　　容器很多时，定位目标容器耗时耗力；
　　不同类型的容器日志需要使用不同的观察方法，增加使用成本；
　　关键信息查询展示不够简单直观。
　　功能和原理
　　针对这些问题，日志服务推出了 LiveTail 功能。相比传统模式，它有如下优点：
　　可以根据单条日志或日志服务的查询分析功能快速定位目标容器；
　　使用统一的方式观察不同类型的容器日志，无需进入目标容器；
　　支持通过关键词进行过滤；
　　支持设置关键列。
　　
　　在实现上，LiveTail 主要用到了上一章中提到的上下文查询原理快速定位目标容器和目标文件。然后，客户端定期向服务端发送请求，拉取最新数据。
　　视频样例
　　您还可以通过观看视频，进一步理解容器日志的采集、查询、分析和可视化等功能。
　　参考资料
　　end
　　更多精彩 查看全部

　　采集亚马逊热搜关键词，竟如此简单！！！
　　在我们日常使用搜索引擎的时候，大多数搜索引擎都会为了让用户更快速的输入自己想要的相关问题，而基于已输入的字符智能匹配出许多相关的关键字推荐给用户。
　　当用户输入一个字符，碰到提示的候选词很多的时候，如何取舍，哪些展示在前面，哪些展示在后面？
　　这就是一个搜索热度的问题。
　　用户在使搜索框搜索相关问题时，会输入大量的关键字，每一次输入就是对关键字的一次投票。那么关键字被输入的次数越多，它对应的查询就比较热门，所以需要把查询的关键字记录下来，并且统计出每个关键字的频率，方便提示结果按照频率排序。
　　而在亚马逊中的搜索也是如此。如下图，在输入一个”A”后会自动联想出“amazon gift cards”、“airpods”、“aa batteries”等词。
　　
　　那么如何批量的根据自己设置的关键词去采集亚马逊推荐的热搜词呢？
　　So Easy!
　　用Python只需4步即可实现！
　　1、打开浏览器访问亚马逊，在亚马逊主页按下“F12”，并切换到“Network”。
　　
　　2、在搜索框中输入任意字符，并抓包分析数据。
　　这时候我们会看到控制台中出现了“suggestions?.....”的请求。点击并切换到Response选项卡中，可以清楚的看到亚马逊返回的数据。我们将数据拷贝（Ctrl+A在Ctrl+C）出来，美化一下仔细看看到底返回了些什么。访问：将数据拷贝进去，一探究竟。
　　
　　在返回的数据是一个标准的json数据，在数据中”Value”这个键下对应的值就是亚马逊的热搜关键字！
　　如此一来我们只需要带上关键字模拟请求这个接口，即可拿到亚马逊返回的热搜关键字。是不是So Easy?!
　　3、复制Curl,生成代码。
　　还是用优采云方法给大家演示，首先在“suggestions?.....”的请求上鼠标右键选择Copy→Copy as cURL。
　　
　　然后访问，将复制的cURL填进去即可自动生成Python代码。再将生成的代码复制出来，在PyCharm中复制进去。
　　4、修改代码，实现复用。
　　在测试当中，我将一些不必要的参数删除最终只需三个参数、几行代码即可实现。
　　import requests
　　keyword = str(input('请输入关键字：'))
　　headers = {
　　'Accept': 'application/json, text/javascript, */*; q=0.01',
　　'Referer': '',
　　'Origin': '',
　　'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',}
　　params = (
　　('mid', 'ATVPDKIKX0DER'),
　　('alias', 'aps'),
　　('prefix',keyword),)
　　response = requests.get('', headers=headers, params=params)
　　suggestions = response.json()['suggestions']
　　for i in suggestions:
　　value = i['value']
　　print(value)
　　当然这几行代码只能实现单个关键词热搜词的采集，我们可以将关键字批量的写入然后挨个的请求即可实现批量采集的目的。
　　在这里技术小哥哥已经将这个功能封装为一个小工具，只需将关键字写入到表格当中即可批量采集！
　　
　　文末大福利
　　大家只需转发此篇文章到自己的朋友圈后，添加下方小哥哥微信，截图给到他就可以给到大家免费使用！
　　
　　更有Reviews采集、QA采集、僵尸采集、跟卖提醒等工具,欢迎随时开撩获得更多工具！
　　
　　▼往期精彩文章▼
　　在看点这里
　　 查看全部

　　批量采集百度新闻源比较好的方法是怎样的？
　　通过关键词采集文章采集api接口，可以一键下载所有网站的历史采集文章。点我的，在文章详情页开放下载。
　　批量采集百度新闻源比较好的方法是利用python的爬虫框架beautifulsoup。专业的爬虫框架性能很强，可以持续处理大量新闻文章，可以用python中的requests库很方便地进行抓取。分析格式并提取重点内容，这样可以提高工作效率。
　　网站基本上都是依赖于一个网站公共分发机制，国内一般是搜索引擎，谷歌或者百度，国外的yahoo,google,还有就是分发机制定义比较松的bbs，qq群等等。这些机制都可以实现很好的数据采集。如果想更高效，可以试试下面的方法。1.采用量化研究工具（量化平台）进行手动分析研究。例如hitsurf,ctat等等。
　　采用tushare库。（tushare，起源于阿里的数据服务商，我个人建议数据服务商，不是数据个人。数据个人最好不要去搞数据交易）需要下载稳定性不高，找其他机构代理会快些。2.利用分布式爬虫工具，（我目前用的是baeka)来采集快速生成excel数据集，很方便解决采集的依赖问题。3.其他，主要是如果你的网站或者公司内部自己有流量进行传播（自己配个小型机或者大型机，找一个收费成熟的交易软件，采个程序化交易，就搞定了），可以试试进行私募类的数据挖掘，他们一般都会自己找大数据产品进行分析，私募数据库什么的，都可以进行数据挖掘，另外其他的大数据服务商也可以进行分析。 查看全部

　　如何在执行python代码时创建强大的机器学习工具？
　　通过关键词采集文章采集api接口获取互联网上当前最热门和有用的项目相关的api接口如果你了解抓取api，并能很容易构建一个爬虫，那么你可以理解执行python代码。在这篇文章中，我们将讨论如何在执行python代码时创建强大的机器学习工具。你可以使用python创建主题，邮件爬虫，课程，医疗记录等任何任务的api请求。
　　1.采集邮件如果你正在给客户发送信息，现在可以在大多数商业网站上看到的邮件中执行基本的多线程测试(图1)。如果正好在发送电子邮件时正好被信息的一方占用，那么你就不会再抓取。根据邮件方的要求，定义合适的断点续传支持。如果在多线程测试之间有连接，那么你应该为每个返回分配权重值。有关设置这些权重值的信息在代码中总是可以获取。
　　这不仅使你可以构建一个纯python的库，还使你能够减少对调用web接口的应用程序的一些限制。即使在gpu上执行这些，单纯的字符串也可以执行超过14k的数据检索，也可以防止电子邮件数据丢失或数据过载。2.抓取邮件api接口抓取api数据是所有数据爬虫任务的起点，大多数数据爬虫项目都是从搜索引擎或爬虫中执行的。
　　python提供了爬虫解决方案，但你不需要改变。你可以创建高效的python函数，根据要求抓取数据。总结了对不同公司发送的“聚合数据”api的抓取工作，并详细列出了各个公司内部api列表。请注意，用来抓取这些结果的代码是不需要加锁的，并且执行率较高。请注意，缺乏requests请求的一个自然原因是使用pythonpandas库。
　　更好的是，有javascript代码来完成抓取工作，但仅限于javascript，也就是动态资源。3.抓取邮件api接口这可能是你最期待的日常任务之一。除了查看信息之外，你将收到一个简短的回复（仅要求转发）。这项任务很有可能是最重要的，你的公司需要将最重要的信息推送给大众媒体。我们总是能知道数以百万计的人都被他们的客户或潜在客户的邮件骚扰过。
　　然而，向所有普通人发送他们所需的邮件并不容易。因此，允许爬虫成为最简单的抓取策略，无需特定的机器学习推荐工具或应用程序。在本文中，我们将解释如何抓取自动定义的或经过修改的接口。4.抓取医疗记录将医疗记录（人工处理的，如hcg）发送给用户，用户可以在自己的医疗记录库中查看所有对应的医生或其他医院记录。这是一个非常有趣的任务，所以创建一个api或请求(requests或twitter）对很重要。
　　如果hcg数据被删除或存储在不合适的服务器上，就会失败。5.抓取api接口将python爬虫程序构建到excel中总是令人惊讶的。它们在任何地方。 查看全部

　　Python爬虫大数据采集与挖掘（PPT、代码、视频）
　　
　　本书实践性强、有丰富的案例、干货多，学生喜欢。PPT、代码和视频配套教学和学习资料的获取方法如下：
　　1、教学用的PPT
　　下载链接（网盘）: 提取码: 5c4y （如果链接失效，请转至留言处获得最新下载方法）
　　分别对应于书的章节，共有12个PPT。
　　PPT1：大数据采集的重要性、技术体系、爬虫合规性、应用现状以及技术发展趋势等。
　　PPT2：相关基础技术和方法，包括HTML语言规范、页面编码体系与规范、以及广泛用于Web页面简单信息提取的正则表达式。
　　PPT3: Web应用架构技术，包括Web服务器应用架构、HTTP协议、状态保持技术、Robots协议等与爬虫密切相关的技术。
　　PPT4: 普通爬虫页面采集技术，包括Web服务器连接、爬虫策略、超链接处理及Python的实现。
　　PPT5: 动态爬虫的相关技术，包括动态页面内容生成、交互、动态页面采集的若干种典型方法和Python实现技术。
　　PPT6: 从Web页面提取信息所需要的技术，介绍了技术原理和典型的开源技术。
　　PPT7: 主题爬虫技术及实现方法，涉及主题爬虫的技术体系、主题表示和建模、主题相似度计算等。
　　PPT8: 关于DeepWeb的数据采集技术及实现。
　　PPT9: 微博信息采集方法及实现，包括通过API获取微博信息和通过爬虫技术获取微博信息两种方法。
　　PPT10: 反爬虫的常用技术，同时也介绍了针对这些反爬虫技术的一些主要应对措施。
　　PPT11: 大数据采集应用对非结构化文本的处理技术，包括文本的预处理、文本分类、主题建模、大数据可视化技术以及一些开源工具等。
　　PPT12: 两个案例（新闻阅读器、SQL注入的爬虫监测）
　　2、相关Python代码
　　具体下载地址见书本的附录A，包含了以下例子。
　　Prog-1-error-handle.py 爬虫的错误处理方法
　　Prog-2-hyper-link-extraction.py 超链接提取方法
　　prog-3-robotparser-demo.py Robots协议文件解析
　　Prog-4-cookie-demo.py 在爬虫中使用Cookie
　　Prog-5-HTMLParser-test.py 使用HTMLParser进行页面解析
　　Prog-6-lxml-test.py 使用lxml进行页面解析
　　Prog-7-bs-sinanews.py 使用BeautifulSoup进行新闻页面解析
　　Prog-8-html5lib-test.py 使用html5lib进行页面解析
　　Prog-9-pyquery-sinanews.py 使用Pyquery进行新闻页面解析
　　Prog-10-topic-pages.py 主题爬虫
　　Prog-11-book-info.py 图书DeepWeb爬虫
　　Prog-12-weiboUserInfo.py 微博用户信息采集
　　Prog-13-weiboMsgInfo.py 微博博文信息采集
　　Prog-14-doc-vectors.py 文档向量空间模型构建
　　Prog-15-train-classifier.py 训练分类器
　　Prog-16-classify.py 使用SVM进行分类
　　Prog-17-LDA-sklearn.py LDA模型的Python实现
　　Prog-18-LDA-gensim.py LDA模型的Python实现
　　Prog-19-matplotlib-examples.py matplotlib的使用
　　Prog-20-wordcloud-example.py wordcloud的使用
　　Prog-21-sinaNewsSpider.py 新浪新闻采集与提取
　　Prog-22-KeywordCloud.py 新闻阅读器的关键词输出
　　Prog-23-LDAnewsTopic.py 新闻主题发现
　　Prog-24-check.py 使用爬虫进行SQL注入安全监测
　　crawler-strategy 4.4.2的完整程序，爬虫策略
　　classify 11.3的例子，包含训练数据、测试数据
　　app-1 12.2的样例
　　LDA 11.4的例子
　　sqlijnect 12.3的例子
　　3、视频
　　300分钟的讲课视频，可以直接手机扫书中的二维码，即可观看。
　　4、相关拓展阅读
　　本公众号不定期推送与《Python爬虫大数据采集与挖掘》、《互联网大数据处理技术与应用》相关的文章，是作者在相关领域教学科研中的一些资料，可以加深对书中一些问题的理解。部分推送的文章有：
　　爬虫应用案例
　　爬虫技术
　　大数据技术
　　模型与算法
　　更多文章可进入本公众号历史消息阅读。
　　 查看全部

　　通过关键词采集文章采集apis实现定时自动抓取以前的博客文章
　　通过关键词采集文章采集apis，实现定时自动抓取以前的博客文章。抓取网站一般是搜狐，知乎，豆瓣等已经被关闭，但是依然有部分站点可以正常抓取该站点文章，可以根据页面定期采集，定时删除。自动排版预览通过开源模块simpui，实现自动排版预览。可以根据需要自定义自动排版效果。
　　uc采集，我用的volley。
　　如果你不愿意花钱买采集器的话，还是先通过博客大巴之类的网站检索到该博客所有者，建议写代码定时爬取，再统一压缩下，然后再采集就好了。我就是这么做的。
　　写爬虫，然后定时检查爬取效果，
　　最简单的：定期检查网站的中英文文章是否同步更新
　　需要用到的socketclient，每天自动爬出本小时新文章。
　　写一个爬虫程序，每小时爬出来最新的，1000篇以内的，然后选出400篇。
　　翻墙，然后被墙，
　　你太高估自己，
　　给你自己，自己去慢慢找。
　　使用谷歌的proxy翻墙接口，打开翻墙接口后，可以直接抓取站点页面，然后使用postman或fiddler等抓包工具，可以获取http协议本地代码，然后解析抓取到的http代码解析相应的html代码，
　　可以使用国内的知乎网 查看全部

　　如何通过关键词采集文章采集api接口+自动推送？
　　通过关键词采集文章采集api接口+自动推送，
　　我也想知道这个
　　微信公众号公开课应该是可以获取到api的，
　　我记得以前看到过一个像办法，然后写了个轮子：利用python爬取某公众号文章。
　　既然最近有兴趣，那就说一点，能把一篇大学生讲座做成文章，难道不应该找到利益相关的人发布么，比如大学生赛事、论坛、组织，
　　听大学生讲座也分不同类型和主题的，可以分别采集到，有的自动推送，有的需要你手动推送，然后去赚作者辛苦的稿费吧，三百五百千字成本不高的，只要符合要求会推送就行，如果做到了，或许可以帮助作者排版，编辑更好地发出来，这样也是可以的，和上面所说的做轮子一样。只是做一个可以推送的api，通过分析每篇文章的数据，然后进行筛选、提取，进而合并同类文章的一个api。
　　可以尝试api服务，比如一些校园app都有的对外提供微信服务号的api，登录和关注等操作，前提是你要有一些帐号。
　　还是你一个人想想吧，
　　现在通过广播软件+关键词+微信公众号文章抓取，还可以搞量化和基金管理都可以。
　　现在市面上很多家都在做这个服务，需要注意的是，国内这方面产品分的比较明确，商业目的性强的会在这方面设置一些约束条件，比如不让发电脑版公众号，就是怕你玩文章了，一般都是小公司还在做这个。商业目的性弱的，会比较随意，看看别人介绍什么的，你可以先大概了解一下别人的文章介绍啊。还有就是千万别信那些直接帮你抓取公众号文章的，没有一定用户量的公众号是不会轻易让你抓的，比如你扫码发送一个链接都算抓的，有人用微信抓了第一篇公众号文章就不给你推送了。 查看全部

　　通过关键词采集文章采集api接口阿里巴巴采集对标题的判断
　　通过关键词采集文章采集api接口阿里巴巴采集字段对标题，作者，页码进行判断，选择相关的文章标题，
　　这个我有朋友帮我搞定过，他是用爬虫抓取某网站的数据，然后导入到googlecache，当爬取到数据后传到他们自己的服务器。
　　我也想知道，感觉我们做的不是一种东西，
　　看这个就知道了，
　　难道没人用123hosting这个数据采集工具吗？我相信应该有人会用他。
　　googleseo?
　　如果你说的是googleseo优化工具的话，
　　googleseo。比如百度蜘蛛挖掘网站内容。百度seoengine收录网站内容。
　　我不是来推销工具的==。用不同工具最大区别就是代码管理。如果你真的想做好seo我建议从第三方代码集中心下个采集器开始入门。
　　就看能否做到各方面统一吧，否则肯定只是局部做好，平衡点就比较难。比如说给你个图你只能关注最顶端的20个字，给你个二维码只能看到最后二维码的部分，你肯定做不到全部统一。所以的话最好统一一下，多用一些编辑器，建站工具，自动化工具（毕竟是辅助的）如果嫌麻烦的话，用ext文件过滤工具，把那些不需要的字段去掉，可以采用js来做页面也可以用markdown来写页面（没有ext那么高级）~看你更看重哪些了。 查看全部

　　移动互联网不用担心？你懂吗？而且还是要生成html
　　通过关键词采集文章采集api，
　　(#′)凸，目前浏览器没有js可以直接从不靠任何api获取文本的哦。网站也不可能不靠api获取网页内容的哦。就是要获取网页内容的话，不可能不用js的哦。比如你的问题里面的这篇文章，就是用浏览器自带的网页抓取api抓下来的。
　　第一种你要是网页开发人员，第二种你懂开发api，
　　ajax技术啊。不懂js在这儿瞎推荐。
　　自己不是每天要读文章吗？看看我的知乎专栏，每天读点新知识吧。每天知乎送文章到你的手机中，
　　用第三方api就是两种方式:1，自己写代码。2，通过浏览器js。自己写代码的话，基本上大部分api是没什么问题的，搞点原始字符串，一个http请求，基本可以实现普通文本到json数据的转换，获取原始字符串。第二种方式的话，每天读点新知识-精选最受欢迎的app、新闻、图片及网站推荐，提供各种精彩文章分享。
　　websocket
　　国内你要找到支持js的
　　懂点js，jquery等。
　　移动互联网不用担心？js你懂吗？而且网站还是要生成html才能爬
　　基本上就是最开始大家推荐的那些了，对于移动互联网，就算支持js的，如果不会写js，就是一头雾水， 查看全部

　　神策数据盛永根：微信生态——全数据采集和打通
　　
　　
　　
　　本文根据神策数据盛永根《微信生态数字化运营跨端数据采集方案》直播整理而得，本文的主要内容如下：
　　一、微信生态介绍
　　1. 微信公众平台
　　公众平台主要包含小程序、服务号、订阅号和微信网页。日常运营都是在公众平台进行，比如修改公众号文章，上传小程序等。
　　2. 微信开放平台
　　开放平台通常包含四个方面：
　　3. 微信
　　微信群聊、微信朋友圈、微信视频号、微信收藏等，这些是微信本身自带的功能。
　　4. 微信生态用户信息
　　微信生态的数据打通，关键在用户的 ID 是否打通。下面我们分析下微信生态用户标识中常见的几个 ID 的概念：
　　二、微信生态数据采集
　　常见的微信生态的数据采集主要包括：公众号的数据采集、微信内网页数据采集、小程序和小游戏数据采集、微信本身的数据采集。
　　1. 公众号的数据采集
　　公众号分为服务号及订阅号，简单列举几条不同点：
　　公众号提供了如下接口：普通消息、事件推送、回复消息、群发消息、客服消息、模板消息、一次性订阅消息、其它功能。
　　用户在公众号里输入一条普通消息后，后端能接收到的文本消息数据如下图左边部分：
　　
　　此时使用神策 Java SDK 发送文本消息事件，代码如上图右半部分。
　　下面具体介绍微信公众号可以采集的事件：
　　上面介绍了可采集的数据，同时还有几个常用的运营功能：
　　总结公众号的数据采集，简单总结下：
　　2. 微信内网页数据采集
　　微信网页若没有在公众号里配置，就仅是一个浏览器打开的传统网页，没有微信的一些功能；但如果其在公众号里进行配置，可以实现两个功能：
　　第一，可以使用神策的 Web JS SDK 去采集数据，跟传统的浏览器打开的网页效果基本一致，但可能存在一些兼容性问题。
　　在微信每个网页的代码中，加入神策的 Web JS SDK，即可采集以下事件，并可以做点击分析和触达率分析：
　　
　　第二，通过微信 JS SDK 增强微信数据采集。原理是，微信在 WebView 中通过注入 JSBridge 相关脚本，使得网页拥有部分微信 App 的功能（这也就是所谓的 Hybrid 技术）。
　　只需要在微信各个网页代码中，加入微信 JS-SDK，就可以使用，但使用时需要在公众号后台中做设置：
　　微信的 JS-SDK 可以采集的事件：
　　常见的是微信的分享的事件，如果用户触发了分享。我们可以采集分享成功事件，属性包括：页面地址、分享标题、分享描述、分享链接、分享图片。
　　除此之外还有如图片、录音、摇一摇、微信扫码、微信支付等事件。
　　例如，在微信网页里用户也能够像在 App 中一样打开图片，并且进行上传和下载，在网页里面还可以去录音，这些都可以做为事件。
　　其次，微信的 JS-SDK 还可以采集到一些额外的属性，如网络的类型（Wifi、3G、4G）、地理位置（经度、纬度、地址详情、缩放比例）、收货地址（姓名、邮编、详细地址、电话）等，这些属性都是在传统的网页中无法获取的。
　　简单总结微信网页内数据采集：
　　3. 小程序和小游戏数据采集
　　有些人可能认为小游戏也是小程序，其实是不同的：
　　小程序和小游戏也有共同点：
　　小程序与网页都属于前端事件，一般建议使用 OpenID，但是 OpenID 需要一定开发量，所以默认会使用 UUID。用户登陆之后，同样建议以一个真实的 ID 即 UserID 为准实现用户关联。
　　下面是使用神策微信小程序 SDK 和 微信小游戏 SDK 后，共同可采集的预置事件：
　　上述事件不做任何操作都可以采集到的，即只需要使用 SDK 就可以。另外如果获得用户授权后，小程序还可以采集到更多事件属性。
　　
　　用户进入小程序后会弹出一个授权的模板消息，用户点击允许后，就可以为用户推送模板消息，可以跳转至小程序具体详情页。其中模板消息分为单次与永久，一般情况下它与特定的行业模板相关。
　　单次的模板每次都需要用户授权。永久的模板，比如小程序锁车，这是特定行业的，没有经过授权也可以推送消息。小程序订阅事件，属性包含用户信息（微信昵称、性别、头像、城市等）、通讯地址（姓名、手机号、邮编）、发票、运动步数属性。
　　小程序订阅消息的位置在微信号的服务通知里面，订阅消息可以实现服务的闭环。比如说用户发生支付行为后，可以给用户推一个链接消息，可以跳回到商场里看自己购买的商品，引导用户完成闭环。
　　除了用户打通，其实还包括渠道打通。小程序渠道，分为渠道场景值和渠道参数。
　　场景值是打开小程序时候，API 能自动获取的，可以看用户是从什么渠道跳转到小程序，比如是扫码过来的，从小程序跳转过来的。
　　场景值只能大概判断是从哪种方式打开的，如果要精确到具体是哪个人，需要使用渠道参数。包括扫描普通链接二维码、小程序码、小程序二维码、微信广告跳转、朋友圈和公众号以及小程序的广告等，都可以设置一个带参数的 Path ，然后就可以解析出具体的参数。
　　总结小程序和小游戏的数据采集：
　　4. 微信数据采集
　　公众号和小程序都有官方提供的接口去采集，但是微信没有提供这样的官方接口，微信机器人一般是通过模拟微信网页版的接口来实现的，所以你也只能取到你在微信中所能看到的：微信号、微信昵称、聊天内容等信息。不过这里也可以做一些智能化的操作，通过神策的 ID 关联功能，使得微信号和公众号中 OpenID 进行关联绑定，可以实现自动发微信消息。
　　三、各应用间的数据打通
　　1. 各应用使用的 ID 整理
　　微信公众号是后端事件，建议使用 OpenID；微信网页建议使用 OpenID，但实际默认 UUID，所以一般建议客户关联 UserID；小程序和小游戏与微信网一样，但是前者还会有一个后端事件，这个时候默认使用 OpenID。所以此时就存在多个 ID。
　　而只有 ID 是一致的，才可以把用户关联起来。如果您使用的是神策的用户关联进行打通，建议使用如下方式：
　　2. 渠道打通
　　3. 渠道间的互相跳转 查看全部

　　网络数据采集的边界在哪里？
　　▼更多精彩，请关注企通查▼
　　在网络环境下，违反隐私信息保护的行为频发，由网络数据采集而引发的信息泄露事件频频出现在大众视野。
　　隐私信息的保护涉及采集、使用、披露等多个环节，而采集正是个人信息被滥用的源头。
　　若想彻底从源头上解决、控制问题，能够清晰做到划分合法采集与非法采集的边界就尤其重要。
　　本文将对网络数据采集的概念、方法和如何规避非法采集进行简单介绍。
　　大数据时代，几乎每种网络服务都需要采集用户的信息，出于各种原因，这些数据会被政府部门、相关机构、企业等收集并使用。
　　网络数据采集是指利用互联网搜索引擎技术，通过网络爬虫或网站公开API等方式从网站上获取数据信息，从而实现有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，并形成数据库文件的一系列过程。
　　随着互联网技术的发展和网络海量信息的增长，对信息的获取与分拣成为一种越来越强烈的需求。
　　网络数据采集采用的技术基本上是利用垂直搜索引擎技术的网络爬虫、分词系统、任务与索引系统等技术进行综合运用而完成，人们一般通过以上技术将海量信息和数据采集回后，进行分拣和二次加工，实现网络数据价值与利益更大化、更专业化的目的。
　　
　　在大数据时代，网络爬虫是在互联网上采集数据的主流方法、有利工具，主要是为搜索引擎提供最新最全面的数据。
　　网络爬虫是一种按照一定的规则，自动地抓取Web信息的程序或者脚本。Web网络爬虫可以自动采集所有其能够访问到的页面内容，为搜索引擎和大数据分析提供数据来源。
　　从功能上来讲，爬虫一般有数据采集、处理和存储3部分功能。
　　通俗地将，爬虫就相当于一个探测机器，可以理解为你的“分身”，通过模拟人的行为去浏览各个网站，对网站内容进行查看，或者把看到的信息背回来，像一只虫子一样在楼里不知疲倦地爬来爬去。
　　如果把互联网比作一张大网，那么爬虫就是这张网上的蜘蛛，如果它遇到了自己的猎物（需要的资源），那么它就会将其抓取下来。
　　常用的网络采集系统有：
　　分布式网络爬虫工具：如Nutch
　　Java网络爬虫工具：如Crawler4j、WebMagic、WebCollector
　　非Java网络爬虫工具：如Scrapy（基于Python语言开发）
　　关于爬虫的原理和具体工作流程、爬取策略，将会在后续的文章中详细介绍，在此不再赘述。
　　
　　了解了什么是网络数据采集和网络数据采集的方法，该如何规避非法网络数据采集呢？可以着重注意以下三方面：
　　01
　　与网络数据采集相关的法律/法规有哪些？
　　网络数据采集的法律法规，包括但不限于：
　　02
　　哪些采集行为不合规？
　　在采集过程中，以下采集行为是不合规的：
　　03
　　应该如何规避非法采集？
　　规避非法采集时应当注意：
　　企通查-动态大数据资源中心基于互联网+大数据+人工智能技术构建，通过分布式数据采集集群、数据特征提取、机器学习和深度学习算法模型、NLP文本分析等技术实现了数据的实时更新、高度关联、动态下载、主动推送，提供了全面、权威、及时、准确的数据资源，涵盖了宏观、中观、微观层面的全维度数据体系。大数据资源中心包含上百个维度、上千条二级类目及上千亿数据，数据类型包括结构化数据、网页数据、文本数据、图像数据等，数据存储总量超过500T，为企业采购风控、销售客户评估、Al精准获客、精准招商、投融资、高校科研机构、政府事业单位提供了全方位的数据支持和数据应用解决方案。
　　如您对我们感兴趣，欢迎进行咨询：
　　联系人：赵先生 查看全部

　　用 R 收集和映射推特数据的初学者向导
　　
　　学习使用 R 的 twitteR 和 leaflet 包, 你就可以把任何话题的推文定位画在地图上。-- Dorris Scott
　　本文导航
　　学习使用 R 的 twitteR 和 leaflet 包, 你就可以把任何话题的推文定位画在地图上。
　　当我开始学习 R ，我也需要学习如何出于研究的目的地收集推特数据并对其进行映射。尽管网上关于这个话题的信息很多，但我发觉难以理解什么与收集并映射推特数据相关。我不仅是个 R 新手，而且对各种教程中技术名词不熟悉。但尽管困难重重，我成功了！在这个教程里，我将以一种新手程序员都能看懂的方式来攻略如何收集推特数据并将至展现在地图中。
　　创建应用程序
　　如果你没有推特帐号，首先你需要注册一个[1]。然后，到 [2]创建一个允许你收集推特数据的应用程序。别担心，创建应用程序极其简单。你创建的应用程序会与推特应用程序接口（API）相连。 想象 API 是一个多功能电子个人助手。你可以使用 API 让其它程序帮你做事。这样一来，你可以接入推特 API 令其收集数据。只需确保不要请求太多，因为推特数据请求次数是有限制[3]的。
　　收集推文有两个可用的 API 。你若想做一次性的推文收集，那么使用REST API. 若是想在特定时间内持续收集，可以用streaming API。教程中我主要使用 REST API。
　　创建应用程序之后，前往Keys and Access Tokens标签。你需要 Consumer Key (API key)、 Consumer Secret (API secret)、 Access Token 和 Access Token Secret 才能在 R 中访问你的应用程序。
　　收集推特数据
　　下一步是打开 R 准备写代码。对于初学者，我推荐使用RStudio[4]，这是 R 的集成开发环境 (IDE) 。我发现 RStudio 在解决问题和测试代码时很实用。 R 有访问该 REST API 的包叫twitteR[5]。
　　打开 RStudio 并新建 RScript。做好这些之后，你需要安装和加载twitteR包:
　　<p>install.packages("twitteR")
　　#安装 TwitteR
　　library (twitteR)
　　#载入 TwitteR</p>
　　安装并载入twitteR包之后，你得输入上文提及的应用程序的 API 信息： <p><p>api_key 查看全部

　　数据分析系列篇（8）：数据采集哪家强？
　　说到我们要做数据分析，没有米下锅怎么行？没有数据，我们还怎么做数据分析？
　　前几天有个哥们在现场就问我，说我们是一家创业公司，我们也非常想做数据分析、机器学习这些，但是我们没有数据啊！这可怎么办？我们也不懂这些数据从哪儿来，更不懂技术方面的东西，公司也就几个人，还都是从传统公司或者刚毕业的。
　　当时我就给他打了个比喻，这就有点像我们没米怎么煮饭一样。如果真的没米了，我们可以自己去种稻，也可以去菜场上买米，也可以拿其他东西和别人家做交换，也可以吃小麦。
　　
　　那同样，我们没数据，那就要想办法去搜集数据啊。如果你是个spy man，那肯定也要各种搜集情报。
　　我们常见的数据收集分内部和外部两方面：
　　1.内部：
　　a）历史log日志+会员信息；
　　b）基于基础标签特征预测；
　　c）集团各业务、子公司数据等。
　　2.外部：
　　a）爬虫采集引擎；
　　b）数据购买；
　　c）合作公司数据交换；
　　d）收购兼并公司；
　　e）营销等手段。
　　
　　针对内部已有数据这些自不必多说，谁都会。重点说一说我们常用的网络爬虫方式。
　　在这块数据采集基于本身需求的规模，如果是大规模的维护系统，可以用专门的采集引擎,比如基于apache服务器的nutch。
　　如果以填充网站为目的，觉得哪个网站的内容好，想借为已用，这种需求随机灵活，而对抓取量又不太高的采集，可以采集python的爬虫工具scrapy。
　　当然php也有可以实现各种网站抓取的方式，但是似乎没有成型的框架，因为抓取本质是基本网络协议，http什么的，所以你对这些协议了解的清楚，又懂一些脚本语言，基本都会画出一个可以实现你需求的采集的工具。但是效率就千差万别了。框架会提供你完善采集的多元素补充，你几乎涉及到采集应该处理的全部问题，它都给你提供了对应的方案，你有耐心死扣方案，总能读懂他传授你的意思，然后按理为之，就可以不断把自己的爬虫实现起来。但是采集只是数据处理的一个环节，采集之后如何对数据提纯精炼，基于自己商业化目的的导向，可能还涉及到知识产权等问题，当然这不是技术采集考虑的层面了。至于数据的分析，当然，我都是用python多一点，python提供了许多内置的math函数处理库，比如说numpy,scipy,matplotlib,这些网上都有对应的使用教程，入库或把采集到的数据按这些组件可以处理的格式保存，然后把数据导入进来，就这样折腾折腾。
　　
　　另外对于初级用户，介绍下现成的工具：
　　优采云
　　优采云应该是国内采集软件最成功的典型之一，使用人数包括收费用户数量上应该是最多的
　　优点：功能比较齐全，采集速度比较快，主要针对cms,短时间可以采集很多，过滤，替换都不错，比较详细；
　　技术：技术主要是论坛支持，帮助文件多，上手容易。有收费、免费版本
　　缺点：功能复杂，软件越来越大，比较占用内存和CPU资源，大批量采集速度不行，资源回收控制得不好，受CS架构限制
　　发源地
　　可能大部分人还不知道，这是我自主研发的，以前一直用爬虫写程序，java、python等，后面觉得很麻烦，就捣鼓着要做的简单一些，然后就没法收手了，最近一直在进行产品迭代。
　　优点：功能聚合性强、速度快、saas架构、数据可预览、数据规则市场、api等多种输出方式、免费
　　缺点：知名度还比较低
　　三人行
　　主要针对论坛的采集，功能比较完善
　　优点：还是针对论坛，适合开论坛的
　　技术：收费技术，免费有广告
　　缺点：超级复杂，上手难，对cms支持比较差
　　ET工具
　　优点：无人值守，自动更新，适合长期做站，用户群主要集中在长期做站潜水站长。软件清晰，必备功能也很齐全，关键是软件免费，听说已经增加采集中英文翻译功能。
　　技术：论坛支持，软件本身免费，但是也提供收费服务。帮助文件较少，上手不容易
　　缺点：对论坛和CMS的支持一般
　　海纳
　　优点：海量，可以抓取网站很多一个关键词文章，似乎适合做网站的专题，特别是文章类、博客类
　　技术：无论坛 收费，免费有功能限制
　　缺点：分类不方便，也就说采集文章归类不方便，要手动（自动容易混淆），特定接口，采集的内容有限
　　优采云
　　优点：非常适合采集discuz论坛
　　缺点：过于专一，兼容性不好。
　　附：
　　如何入门 Python 爬虫？ - 爬虫（计算机网络）
　　Python 爬虫进阶？ - 爬虫（计算机网络）
　　你是如何开始能写python爬虫？ - 调查类问题
　　祝大家爬得开心！
　　
　　加群请备注：“公司+城市+称呼”，有问题的加我微信。 查看全部

　　Python中调用微博API采集数据|附代码+视频
　　
　　使用微博API进行微博信息获取的基本流程如图9-4所示。在该流程中，首先通过申请到的access token，通过开放平台的认证接口进行OAuth认证。认证通过后，即可通过微博所提供的接口获得各种数据，例如用户数据、博文、关注信息等等。
　　在微博OAuth2.0实现中，授权服务器在接收到验证授权请求时，会按照OAuth2.0协议对本请求的请求头部、请求参数进行检验，若请求不合法或验证未通过，授权服务器会返回相应的错误信息，包含以下几个参数：
　　如果通过认证，则可以调用各种API。返回的数据按照JSON格式进行封装，最后根据API文档的说明提取所需要的内容。
　　
　　01
　　微博API及使用方法
　　1 微博API介绍
　　微博API是微博官方提供给开发人员的一组函数调用接口，这是一种在线调用方式，不同于普通语言所提供的函数。这些API能够根据输入的参数返回相应的数据，其范围涵盖用户个人信息、用户的粉丝和关注、用户发布的博文、博文的评论等等。只要携带符合要求的参数向接口发送HTTP请求，接口就会返回所对应的JSON格式数据。新浪微博提供的API有九大类，即：粉丝服务接口、微博接口、评论接口、用户接口、关系接口、搜索接口、短链接口、公共服务接口和OAuth 2.0授权接口。这些接口的名称及功能如表9-1所示。需要注意的是，新浪微博API会不断升级，最新的接口及功能可以到官方网站查阅：%E5%BE%AE%E5%8D%9AAPI。2微博API的使用方法对于每个API，新浪微博规定了其请求参数、返回字段说明、是否需要登录、HTTP请求方式、访问授权限制（包括访问级别、是否频次限制）等关键信息。其中，请求参数是API的输入，而返回字段是API调用的输出结果，一般是以JSON的形式进行封装。HTTP请求方式支持GET和POST两种，访问授权限制则规定了客户端调用API的一些约束条件。详细介绍参见《Python爬虫大数据采集与挖掘-微课视频版》一书
　　01
　　例1：采集微博用户个人信息
　　微博用户的个人信息包括用户昵称、简介、粉丝数、关注数、微博数等，通过调用微博开发接口API可以得到这些个人信息数据。该接口为users/show，请求参数如表9-6所示，其中参数uid与screen_name二者必选其一，且只能选其一个。
　　
　　该接口返回的信息包含了用户的昵称、省份、头像、粉丝数等等，具体介绍参见《Python爬虫大数据采集与挖掘-微课视频版》一书
　　
　　在理解接口定义之后，可以使用Python来实现微博个人信息采集。主要过程包括按照请求参数构造、发起请求和结果的提取和转换。具体的程序代码和解释如下。
　　Prog-12-weiboUserInfo.py
　　# -*- coding: utf-8 -*-from urllib import parseimport requestsimport json<br /># 调用users/show 接口def get_pinfo(access_token,uid): # 用户个人信息字典 pinfo_dict = {} url = 'https://api.weibo.com/2/users/show.json' url_dict = {'access_token': access_token, 'uid': uid} url_param = parse.urlencode(url_dict) res=requests.get(url='%s%s%s' % (url, '?', url_param), headers=header_dict)<br /> decode_data = json.loads(res.text) pinfo_dict['昵称'] = decode_data['name'] pinfo_dict['简介'] = decode_data['description'] # 性别，转换一下 if decode_data['gender'] == 'f': pinfo_dict['性别'] = '女' elif decode_data['gender'] == 'm': pinfo_dict['性别'] = '男' else: pinfo_dict['性别'] = '未知' # 注册时间 pinfo_dict['注册时间'] = decode_data['created_at'] # 粉丝数 pinfo_dict['粉丝数'] = decode_data['followers_count'] # 关注数 pinfo_dict['关注数'] = decode_data['friends_count'] # 微博数 pinfo_dict['微博数'] = decode_data['statuses_count'] # 收藏数 pinfo_dict['收藏数'] = decode_data['favourites_count'] return pinfo_dict<br />if __name__ == '__main__': header_dict = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko'} # 填写access_token参数 与 uid access_token = '*****************' #通过8.2节方法获得，每个人不一样 uid = '7059060320' pinfo = get_pinfo(access_token,uid) for key, value in pinfo.items():       print('{k}:{v}'.format(k=key, v=value))
　　在http请求中携带access_token和uid参数访问接口，获得一个json格式的返回结果，对json进行解析即可。运行结果如图9-5所示。
　　
　　03
　　例2：采集微博博文
　　使用微博API获取博文主要涉及到两个接口，即statuses/user_timeline/ids和statuses/show。前者用于获取用户发布的微博的ID列表，后者是根据微博ID获得单条微博信息内容，包括文本内容、图片以及评论转发情况等。以下是这两个接口的详细说明。
　　(1)statuses/user_timeline/ids
　　该接口的请求参数包括采用OAuth授权后获得的access_token，以及所需要检索的微博用户ID，具体定义如表9-8所示，有些参数是可选的，采用默认值。
　　
　　该接口只返回最新的5条数据，即用户uid所发布的微博ID列表。格式如下，statuses中即为记录列表。
　　{
　　"statuses": [
　　"33829",
　　"33829",
　　"33829",
　　...
　　],
　　"previous_cursor": 0, // 暂未支持
　　"next_cursor": 0, //暂未支持
　　"total_number": 16
　　}
　　(2)statuses/show
　　该接口的请求参数也包括采用OAuth授权后获得的access_token，另一个就是微博ID，两个参数均为必选，具体说明如表9-9所示。
　　
　　该接口返回微博的相关属性值，包括微博创建时间、文本内容等，具体介绍参见《》一书。
　　
　　下面，以statuses/user_timeline/ids接口为例来说明具体的调用和处理方法。
　　（1）根据接口说明构造正确的http请求。
　　阅读在线接口说明可知，该接口需要以Get方式请求，必选参数access_token，返回格式为json。其中必选参数access_token来源于OAuth授权，具体创建方法见9.2节。 查看全部