专业知识:第二章 网络信息采集技术介绍教学重点.doc

　　专业知识:第二章 网络信息采集技术介绍教学重点.doc

　　第二章网络信息采集技术介绍王欣教学重点教学要点：网络信息资源采集质量标准、方法与策略。难点：掌握网络信息资源的内容和形式标准采集。掌握网络信息资源策略采集。能够根据他们的采集 需求制定生产策略。 一、网络信息资源采集质量标准严格资源采集标准是信息资源可靠性的关键保障之一。网络信息资源的质量可以从内容和形式两个方面进行评价。 1.内容标准（1)权威性：信息发布者是学术权威或有影响的学术机构，专业的网站评价机构评价效果较好，资源在该领域具有一定的知名度和学术感染力，得到了该领域相当数量的专业学者的认可。（2)实用性：广告占比低，信息深度泄露，包括与其他*敏*感*词*，内容客观，信息（包括引文信息）准确可靠，并且很少或没有语法和拼写错误，转载内容有出处说明，链接高效。（4)时效性：资源内容反映最新动态学科开放，内容最近更新，并注明最后更新日期。 (5)唯一性：该资源收录其他网络资源中基本没有的信息。网站上的内容主要是原创信息，而不是转载或链接到其他网站。(6)全面：资源内容收录该领域的尽可能完整的信息，资源来源多元化。

　　

　　2.表单标准 表单标准主要从资源的组织和利用、资源的访问条件、网站的页面设计三个方面来衡量。 (1)资源的组织和利用：资源的分类和组织是否科学合理，浏览导航结构是否清晰易用，网站资源是否有搜索引擎用户检索，搜索引擎是否允许逻辑操作，搜索结果是否可以按相关性排序等（2)资源访问条件：访问资源是否方便，是否有特殊要求用户的软硬件（如安装插件或特殊软件），是否有知识产权限制，是否需要注册才能访问，访问资源时响应是否快。(3)< @网站的页面设计：用户界面是否友好，页面是否干净整洁、柔和、和谐、美观，w各部分的位置关系和比例是否eb页面是否合适，是否有准确的站点导航图。二、网络信息资源采集途径与策略1.网络信息资源方式采集(1)manual采集：manual采集是常用的网络信息方式采集。手动获取网络信息的常用主要方式 是：通过学科指南或相关领域学科信息门户进行搜索。使用搜索引擎 采集 获取信息。使用专业网站 查找。跟踪综合门户的相关部分。追踪相关重要国际组织或机构的网站。了解相关学科领域的专家并搜索他们的个人网站。搜索并加入相关领域的关键主题邮件列表。还可以通过IE浏览网页，通过Outlook浏览Outlook 收发邮件，登录FTP服务器下载数据等。

　　

　　(2)采集器自动捕获（信息采集技术）：这是一种时尚的获取信息的方式。从这些信息源采集到某些类型的信息后，采集器@ > 会自动定期从这些信息源中检索用户需要的最新信息。多方位采集，特点是主动灵活获取信息。（3)定制信息（推送技术）：这种方式有点类似传统广播，也有人称之为“互联网广播”。网络公司通过一定的技术标准或协议，从在线信息源或信息生产者处获取信息，并进行处理

　　专业知识:百度优化排名SEO工具

　　临沂Bestino()今日推荐一款百度优化排名SEO工具

　　1.1百度搜索资源平台（原百度站长平台）介绍

　　百度搜索资源平台（原百度站长平台）是全球最大的中国互联网管理者、移动开发者和企业家管理搜索流量的官方平台。提供帮助搜索引擎数据查询和优化的工具，SEO建议，以及适应多种服务的能力。

　　百度搜索资源平台域名地址：

　　1.2 查询工具

　　1.2.1 索引工具

　　索引量

　　网站是指用户在百度搜索网站上可以搜索到的链接总数。百度蜘蛛通过爬取发现网站内容，进行页面分析，为有价值的内容建立索引库，让搜索用户最终搜索到网站内容。

　　网站被百度蜘蛛抓取后，经​​过一系列的计算，可以建入索引库，有机会接触搜索用户。因此，索引量一直是站长们关注的焦点，但是对于索引量工具存在一些误区。正确答案如下：

　　√索引量不等于网站流量：索引库分为多级，只有进入上级索引库，才能有更多机会接触搜索用户；进入下级图书馆的机会微乎其微。因此，指数总量的整体增减并不代表流量有任何变化；

　　√ 指数量变化不直接影响流量变化：流量变化时，指数量数据可以作为查因的渠道之一，但不是调查渠道，指数量变化不直接影响交通变化；

　　√在指数波动的情况下，指数波动10%（经验值），甚至更多，都可能是正常的。只要流程没有太大变化就不要紧张。

　　1.2.2 流量和关键词工具

　　流量和关键词工具在百度搜索结果中提供网站流行的关键词展示和点击数据，并通过监控关键词的性能帮助网站更好的优化、流量而关键词工具可以帮助站长了解网站在百度搜索引擎中的表现，确定页面和网站的优化方向，为网站的操作决策提供一个分析依据。

　　关于流量和关键词工具，还有一点需要强调。如果站长需要在反馈中心提交网站的异常流量信息，请使用本工具的数据和数据截图作为工作人员分析网站问题的证据。

　　1.2.3 爬频工具

　　什么是抓取频率

　　爬取频率是搜索引擎在单位时间（天）内爬取网站服务器的总次数。百度蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整爬取频率。

　　何时可以调整抓取频次上限：

　　首先百度蜘蛛会根据网站服务器压力自动调整爬取频率；

　　其次，如果百度蜘蛛的爬取影响网站的稳定性，站长可以使用该工具调整百度蜘蛛每日爬取网站的频率限制。

　　重点1：调整抓取频次上限并不意味着提高抓取频次；

　　重点2：建议站长慎重调整爬取频率的上限。如果爬取频率太小，会影响百度蜘蛛对网站的及时爬取，从而影响索引。

　　1.2.1 爬取诊断工具

　　什么是抓取诊断

　　爬虫诊断工具可以让站长从百度蜘蛛的角度查看爬取的内容，并自行诊断百度蜘蛛看到的内容是否与预期一致。每个站点每周可以使用 200 次，爬取结果只显示百度蜘蛛可以看到的前 200KB 内容。

　　抓取诊断工具能做什么

　　目前，抓取诊断工具执行以下操作：

　　√ 诊断爬取的内容是否符合预期。例如，在很多商品详情页中，价格信息是通过JavaScript输出的，对百度蜘蛛不友好，价格信息在搜索中难以应用。问题解决后，可以使用诊断工具再次抓取测试；

　　√诊断网页是黑链还是隐藏文本。 网站如果被黑客入侵，可能会添加隐藏链接。这些链接可能只有在百度爬取的时候才会出现，所以需要使用这个爬虫来诊断。

　　1.2.5个爬取异常工具

　　什么是抓取异常

　　百度蜘蛛无法正常爬取，即爬取异常。通常 网站 抓取异常是由 网站 本身引起的。您需要网站按照工具提示检查网站问题并尽快解决。

　　爬取异常对网站

　　有什么影响

　　对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验缺陷，会降低对网站的评价。搜索评价会受到一定程度的负面影响，最终会影响从百度获得的网站流量。

　　爬取异常的原因是什么

　　●网站异常

　　√DNS异常：当百度蜘蛛无法解析网站的IP时，会出现DNS异常。可能是网站IP地址错误，或者域名服务商封杀了百度蜘蛛。请使用 whois 或 host 来检查您的 网站IP 地址是否正确且可解析。如不正确或无法解析，请联系域名注册商更新网站IP地址；

　　√连接超时：抓取请求的连接超时可能是服务器过载，网络不稳定造成的；

　　√ 爬取超时：爬取请求连接建立后，页面下载速度过慢，导致超时。可能的原因是服务器过载，带宽不足；

　　√ 连接错误：建立连接后无法连接或对方服务器拒绝。

　　●链接异常

　　√Access Denied：爬虫发起爬取，httpcode返回码为103；

　　√找不到页面：爬虫发起爬取，httpcode返回码为101；

　　√服务器错误：爬虫发起爬取，httpcode返回码为5XX；

　　

　　√其他错误：爬虫发起爬取，httpcode返回码为1XX，不包括103和101。

　　1.3提交工具

　　1.3.1链接提交工具

　　目前有1种提交方式，即主动推送、Sitemap、手动提交和自动推送。这四种推送方式的区别在于：

　　建议有新闻属性的网站使用主动推送进行数据提交；新的验证平台站点，或者对内容没有时效要求的站点，可以使用Sitemap提交网站所有使用Sitemap的内容；技术能力薄弱，或

　　@网站 对于内容较少的网站，可以手动提交数据；以后也可以使用插件模式自动推送数据到百度。

　　使用链接提交工具，还要注意一些网站会使用第三方插件推送数据。插件推送方式需要站长仔细检查推送逻辑。之前发生过站长使用第三方插件推送数据，第三方插件使用域名+标题进行推送，导致推送到百度的URL中存在汉字，带有汉字的网址会跳转到带有301的真实网址，这种情况下是不可能享受快速抓包优惠的。

　　链接提交工具可以快速帮助网站实现内容抓取，使用第三方插件可以快速帮助站长解决推送问题。 网站数据不符合快速获取优势。

　　1.3.2 死链接提交工具

　　为什么要使用死链接工具

　　当网站死链接数据积累过多，显示在搜索结果页时，会对网站自身的访问体验和用户转化产生负面影响。另一方面，百度查死链接的过程也会给网站带来额外的负担，影响网站其他正常页面的爬取和索引。

　　注意事项：

　　√ 请推送协议死链数据，死链工具仅支持协议死链数据；

　　√提交的死链接删除后，网站可以删除提交的死链接文件，否则搜索会继续爬取死链接文件确认文件内容。

　　什么是死链接规则提交？

　　死链接规则是链接前缀，所有匹配前缀的链接都是死链接。

　　目前支持两种死链规则：

　　√目录规则：前缀以“/”结尾；

　　√CGI规则：前缀以“?”结尾。

　　什么是死链接文件提交？

　　√ 站长需提交已被百度收录需要删除的链接。如果在百度上搜索不到链接，则可能无法提交死链接；

　　√所有要删除的链接都需要设置为101，如果发现链接不是死链接，文件校验会失败，死链接不能删除

　　√如果死链接文件爬取失败，可以使用爬取诊断工具判断死链接文件是否可以正常爬取；

　　√ 站长提交死链接后，请勿在机器人中封禁百度蜘蛛。禁止百度蜘蛛会影响链接的正常删除；

　　√如果要删除的链接已被删除，请及时删除死链接文件；

　　√ 提交死链接工具，死链接需要2-3天才能生效。如果站长发现链接没有被删除，一周后可以重新提交。

　　规则提交：

　　√规则死链接不支持通配符；

　　√ 规则一定是死链？或 / 在规则的末尾。

　　关于死链接提交的常见问题解答

　　√网站死链接数据，除了使用死链接提交工具，还可以使用robots来屏蔽百度的爬取。百度将不再按照robots文件中的规则抓取内容。如果内容在线已显示，将被屏蔽；

　　√带有死链接的文件已经提交，蜘蛛会继续爬取，检查文件中是否有更新的链接；如果更新的链接被抓到，会再次检查网站；如果死链接提交已经生效，并且以后不会更新这个文件，可以直接在工具中删除该文件；

　　√ 搜索资源平台中的链接分析工具具有死链接分析功能，可以帮助网站在站点中查找死链接。

　　1.3.3 移动适配工具

　　什么是移动适配以及移动适配工具的作用

　　主要使用移动适配工具。如果网站同时拥有PC站和移动站，两者在内容上可以对应，即主要内容相同，网站可以使用移动适配工具进行对应关系，方便百度识别PC端和手机端的关系

　　站长通过移动适配工具提交模式级或URL级PC页面与移动页面的对应关系。如果验证能够成功通过，将帮助百度手机搜索将手机用户直接发送到相应的手机页面结果。积极参与“移动适配”，有助于手机站在百度移动搜索上获得更多流量，同时以更好的浏览效果赢得用户口碑。

　　如何使用移动适配器工具

　　当网站同时拥有移动端和PC端，且移动端和PC端的主要内容相同时，可以通过百度搜索资源平台提交正确的适配关系（原百度站长平台）。获得更多移动流量。

　　第一步：注册并登录百度搜索资源平台（原百度站长平台）；

<p>第二步：提交PC