解决方案:数据获取 | 如何用HAWK获取深圳开放数据？

　　解决方案:数据获取 | 如何用HAWK获取深圳开放数据？

　　在今天的文章中，我会说说HAWK的简单应用，如何获取深圳开放数据API类接口的数据，可能比较枯燥，记录一下就对了。

　　01 深圳开放数据

　　先贴个链接：

　　全称是“深圳市政府数据开放平台”。是深圳市政府于2016年11月开通的集中式数据平台，主要通过API接口进行共享。目前，该平台已应用于*敏*感*词*、城市建设、公共安全、经济建设等领域。对外开放1238个数据目录、9586万条数据、988个数据接口等十余个领域，提供数据浏览、查询、下载、API调用等服务。

　　接下来，选择房地产类下的“面向社会的保障性商品房申请信息”项。更新时间截至2017-08-02。数据量约131075条，手动获取基本很费力。

　　忽略注册账号的过程，需要在自己的账号中创建一个应用获取a*敏*感*词*ey，然后再申请调用api。用过百度地图api的一定知道，其实就是个人秘钥。

　　

　　将a*敏*感*词*ey以“&a*敏*感*词*ey=”的形式附在request case的后面，然后将地址粘贴到浏览器的地址栏，可以看到可以正常获取，下一步交给鹰。

　　02 HAWK出局

　　新建一个网页采集器，粘贴上面连接的URL。这里为了便于理解，设置为一次只返回一个值。通过返回该字段对应的表就可以知道每个属性代表什么。因此，在网页采集器中按顺序设置字段，采用one模式。

　　总数是131075，所以需要生成从1-131075访问的页数，所以在新的数据清洗中，先使用“Generate Interval Number”生成一个1-131075的序列。

　　然后在“Merge Multiple Columns”中，将拼接的URL中的页码替换为刚刚生成的字段id，写成{0}的格式，输出的列填上url，这样就可以得到所有请求的 URL。

　　然后将“convert from crawler”拖到url字段中，选择刚刚设置的爬虫，就可以看到新获取的信息了。

　　

　　太神奇了。

　　然后拖入一个“写入数据表”，填写数据表的名称，然后点击执行，就可以得到所有的房子信息，最后得到一个巨大的表格，可以保存为xlsx、csv、txt等格式.

　　03 总结

　　其实这是最简单的抓取网络数据的形式，可以扩展抓取其他类型的数据，比如百度地图api，也是用url来拼接请求信息、关键字、POI类别等，然后发送他们到 api 接口来获取返回的数据。比如大众点评，其实就是生成需要请求的url段，然后通过设置的网页采集器将每个url下的信息转换成结构化的表，最后保存到数据库中。

　　都是一样的东西，HAWK只是一个工具，使用其他的优采云，优采云也是类似的，大家可以慢慢摸索。

　　目前限制爬虫的手段主要有IP封禁、验证码验证等，目前还没找到更好的办法。我只能通过减少访问频率、分区和时间段来应对。如果需求量大，则需要购买代理IP 智来不时更换IP，以免被封。

　　暂时就这些，大家也可以试试其他的api接口。

　　解决方案:百度快照是百度产品中最具价值的网站展现平台

　　3.填写网页快照链接和邮箱地址，提交反馈

　　百度快照问题诊断分析

　　什么是百度网页快照？快照是如何形成的？

　　网站快照是对搜索引擎收录页面拍照保存后形成的数据副本。当搜索引擎在收录网页上时，会抓取并存储该网页并存储在自己的服务器缓存中，快照经常变化，因此搜索引擎需要经常更新和备份快照，并且每次更新都会生成一份快照，尤其是快照的内容和时间经常变化，当用户点击搜索引擎中的“网页快照”链接时，搜索引擎会显示被抓取并保存的网页内容当时的Spider系统，叫做“网页快照”。快速被百度收录并形成网页快照对于网站优化非常重要

　　搜索引擎 收录 流程

　　我们通过百度快照现象、排名波动现象、收录现象、反链接数量、友链质量、快照抓取时间等进行有效分析对比；我们在SEO过程中会发现各种问题，比如：关键词没有排名，排名不稳定，排名突然消失，关键词排名急剧下降，网页快照回滚，百度减少收录 或快照消失等

　　一共展示了760个百度搜索结果，每个结果都是一个独立的快照。每个独立的快照都有一个特定的评论编号。如果我们优化后的 关键词 排名出现在 760 项中，则必须满足几个条件：

　　网页快照必须符合搜索引擎规则；

　　1、锚文本外链或友链质量最低，或外链数量太少；外部链接属于多点收敛，是改进快照评论的基本形式；

　　2、内部链接可能无法有效投递；内链属于引导传播，内链是优化网站体验的好方法。目的是为了满足不同层次用户的需求，就像马路上为什么要有标志一样；

　　3、友链交换质量不够，数量少，或者友链单一；友链是双向传输，提高快照评价的最佳选择；

　　如果 网站 满足参与搜索结果排名的条件，还必须满足：

　　一个。关键词对应的网页截图必须是完全匹配或者部分匹配；

　　

　　b. 关键词 和 网站 主题必须相关；

　　C。网站的结构必须便于百度抓取和更新；

　　d. 一些关键词时间敏感的，比如大闸蟹、月饼、*敏*感*词*等网站快照更新一定要及时；

　　e. 网站异常快照、降级、URL进入观察期等

　　网站频繁的版本修改，频繁的TDK调整，过度优化，内容采集，不符合gj政策的灰色词，多域名绑定，频繁入侵等等，这些词对优闲的排名有点少在搜索引擎文章或作废；

　　SEO是一个系统层次很深的系统。SEO就是要获得准确的目标客户，并将其转化为目标，其他一切都只是浮云​​。因此，在网站建设前期，需要做好长期定位，包括关键词选择、短期排名效果、中期目标客户转化、长- 长期长尾词或相关词的整体规划，最重要的是实现关键词数量持续增加，关键词排名稳步上升，目标流量持续转化。

　　网页快照对SEO的影响

　　搜索引擎显示的结果一般都是网页快照，网页快照能出现在搜索结果的第一页甚至第一位是所有网站站长梦寐以求的结果，这也是为什么网站 楼主辛苦了 快照优化的主要原因是现在。网页快照的结果好坏完全取决于当前搜索引擎对快照的评价，评价越高，g关键词的排名就越高，目前国内知名的搜索引擎有百度，其中中文搜索占75%，360搜索10%份额，搜狗5%份额，必应、好乐、有道等搜索引擎不到10%，所以站长的网站优化和关键词排名就是关注百度排名就可以了，

　　如何提高网页快照评级？

　　网页快照评级是一个复杂的过程，网页本身的快照很容易出现，只要搜索引擎收录已经形成了网页快照，但是单独有网页快照是没有意义的，必须有是关键词快照，每个关键词对应多个快照副本，只有当关键词对应快照的评分足够时，当前关键词快照才会有更好的结果. 关键词排名位置会提高。关键词快照出现在搜索引擎结果页的首要条件是：关键词快照本身的内容（优质内容），关键词快照的外部链接（外链），关键词快照互链（友链）、外链等因素，

　　网页快照形成后会有好的SEO排名吗？

　　关键词快照评论的数量决定了搜索结果的位置。一般来说，关键词快照分为三个阶段：生成快照、拥有快照评分、改进快照评论。我想大家最关心的是如何提升关键词Snapshot评论，最简单的思路就是先打分。这一步我已经在上面解释清楚了。提高评级的依据是什么？测试依赖于“用户体验”。我这里说的用户体验属于搜索引擎检索、查看结果、结果展示、结果点击、点击后快照停留时间等综合体验。这个过程是百度对关键词快照质量评价的gth。搜索引擎排序规则必须通过搜索和访问之间的有效分析和比较来获得。无论是百度还是好乐等搜索引擎，都不好判断关键词和快照的好坏。搜索引擎只能判断关键词与快照的相关性，如何判断关键词与实际快照的有效性？它必须从用户出发，根据有效搜索做出判断。当人们自然地检索 关键词 并访问结果时，用户通常找不到他们想要的结果。你的网站，但不一定是有效的搜索、结果的呈现、结果的获取来下结论。简单说明执行过程：当用户检索关键词并访问快照时，用户不一定会停留在你的网站上。如果你搜索一个词，打开第一个结果发现不是你想要的，你肯定会继续访问后面的结果，停止访问剩下的结果，直到找到你需要的结果（也有可能是你根本找不到你想要的结果）。当找到自己需要的结果后，自然不会再继续访问剩下的结果，最后的快照称为有效搜索；虽然这个思路和算法还有很多缺陷，但是大多数搜索引擎还是把这个算法作为最好的算法，因为搜索引擎不能用快照来判断关键词的真伪。只有通过对用户需求的对比分析来记录！你肯定会继续访问后面的结果，停止访问剩下的结果，直到找到你需要的结果（也有可能你根本找不到你想要的结果）。当找到自己需要的结果后，自然不会再继续访问剩下的结果，最后的快照称为有效搜索；虽然这个思路和算法还有很多缺陷，但是大多数搜索引擎还是把这个算法作为最好的算法，因为搜索引擎不能用快照来判断关键词的真伪。只有通过对用户需求的对比分析来记录！你肯定会继续访问后面的结果，停止访问剩下的结果，直到找到你需要的结果（也有可能你根本找不到你想要的结果）。当找到自己需要的结果后，自然不会再继续访问剩下的结果，最后的快照称为有效搜索；虽然这个思路和算法还有很多缺陷，但是大多数搜索引擎还是把这个算法作为最好的算法，因为搜索引擎不能用快照来判断关键词的真伪。只有通过对用户需求的对比分析来记录！你自然不会继续访问剩下的结果，最后的快照称为有效搜索；虽然这个思路和算法还有很多缺陷，但是大多数搜索引擎还是把这个算法作为最好的算法，因为搜索引擎不能用快照来判断关键词的真伪。只有通过对用户需求的对比分析来记录！你自然不会继续访问剩下的结果，最后的快照称为有效搜索；虽然这个思路和算法还有很多缺陷，但是大多数搜索引擎还是把这个算法作为最好的算法，因为搜索引擎不能用快照来判断关键词的真伪。只有通过对用户需求的对比分析来记录！

　　应注意搜索引擎的抓取和更新

　　什么是抓取诊断

　　

　　爬虫诊断工具可以让站长站在百度蜘蛛的角度查看爬取的内容，自我诊断百度蜘蛛看到的内容是否符合预期。每个站点每周可以使用200次，爬取结果只显示百度蜘蛛可见的前200KB内容。

　　抓取诊断可以做什么

　　目前，抓取诊断工具执行以下操作：

　　1. 诊断爬取的内容是否符合预期。比如很多商品详情页，加格信息是通过JavaScript输出的，对百度蜘蛛不友好，加格信息很难应用在搜索中。问题修复后，可以使用诊断工具再次爬取检查。

　　2、判断网页是否添加了黑链接或隐藏文字。网站如果被黑，可能会添加隐藏链接。这些链接可能只有在百度爬取的时候才会出现，需要借助这个爬取工具进行诊断。

　　3、检查网站与百度的连接是否畅通。如果IP信息不一致，可以报错通知百度更新IP。

　　爬虫诊断工具常见错误类型分析

　　[网址规范]

　　百度支持抓取的url长度不超过1024，如果您的链接长度过长，请在保证正常访问的情况下适当简化，以保证链接能被百度正常抓取，收录。

　　[301重定向错误]

　　Z方向是指百度蜘蛛访问链接时的跳转。如果跳转后的链接过长或者连续跳转次数超过5次，就会出现Z方向错误，抓取失败。

　　【服务器环境不稳定，连接错误】

　　这种情况说明百度访问不到你的网站是因为服务器响应太慢或者是你的网站屏蔽了百度蜘蛛。这将阻止百度正确地 收录 或更新您的 网站 内容。您可能会看到特定的错误，例如：连接超时、连接失败、连接被拒绝、无响应、响应被截断、连接重置、标头被截断、超时。