网站分析常用的指标之内容指标(百度有上百人从事和评估相关的工作Z说的七个维度)

　　网站分析常用的指标之内容指标(百度有上百人从事和评估相关的工作Z说的七个维度)

　　我询问了我的领域。我真的可以就这个问题写一本书。百度有数百人从事评估相关工作

　　latent Z 提到的七个维度，只是评价网页搜索效果的指标之一：QU相关性评价标准的一部分（字幕直接抄袭文档！专业度好...）

　　所谓的搜索满意度是一个很虚幻的东西，但是你可以从用户行为中看出端倪。通过分析用户的点击顺序、停留时​​间、点击次数，可以粗略的分析出用户是否满意，多久满意，满意的结果。或者通过AB Test、Interleaving等方法，可以比较A、B搜索结果的质量，得到一个相对值。举个简单的栗子：

　　这种方法的前提是可以得到大量的用户行为统计数据，并根据这些实际数据进行分析。但在现实中，并不总是有用户数据，例如，新策略还没有推出，或者你是竞争对手等等。

　　实际上，有各种各样的人工评估可以从各个角度判断搜索结果的质量。人工评价就是把现实中用户的喜好抽象成几个检查点，比如上面提到的七个维度，然后模拟这个过程。让我谈谈一些众所周知的想法：

　　对搜索结果中前N个URL进行Query-URL相关性评估，并根据排名分配权重，计算出一个叫做DCG的值。这个绝对值反映了单次搜索的前 N ​​个结果的质量。将同一查询下的百度搜索结果与竞品结果进行横向比较，判断质量和程度，得出搜索质量较好的结论，称为Side-by-side。在评测中，如果将两侧的品牌标识全部隐藏起来，随机调换左右环境序列，则属于盲测。盲测的结论一般会非常客观地反映搜索引擎的质量差距。

　　以上是仅关注搜索结果及其排名的评估方法示例。另外，summary、piaohong、sug等感性项目也会影响结论，各有各的评价方法。

　　最后，如何评价和选择重点关注哪些指标，关键在于你评价的目的。 “搜索满意度”也是一大话题！

　　贴个参考地址，很详细：

　　/cn/articles/cyw-evaluate-seachengine-result-quality

　　------------更新 2013-7-25------------

　　既然有人还是觉得这件事太抽象了，那我就举个具体的栗子

　　第一步：明确评估的背景、目的和资源

　　这里我们假设第三方研究人员想要比较百度和谷歌搜索哪个更好。这个问题在知乎中经常被讨论，但大多只是说说自己的经历，没有人能拿出令人信服的研究数据。现在我们要解决这个问题。作为第三方研究者，很难获得两个搜索引擎完整的用户行为，即使存在不可控的变量，也有太多严谨的结论。但是很容易抓取双方的搜索结果

　　第 2 步：确定评估方法

　　评估的基本方法很明显：选择N个查询，同时搜索两边的每个查询，横向比较两者，最后计算一个平均指数。

　　重点是如何选择指标。这里我们可以使用上面提到的两个角度，即：

　　1 前N个结果（一般为3个，有时也有5个或10）来一一判断相关性，然后根据位置分配权重，计算搜索结果的质量值（DCG）两边分别

　　2 对两边的结果进行综合比较，给出一个相对值（左边好？右边好？多好？）

　　第 3 步：制定评估标准

　　这一步很重要。既然要评价，就要先确定什么是“好”，什么是“坏”。标准必须尽可能反映用户的真实感受，并始终保持一致。对此，无论是百度还是谷歌，都有厚重的规则，基本思路大同小异。如果你能拿到一份，那么这一步就省力了。

　　第 4 步：数据准备

　　1 查询选择：在本次评测的语境中，从数量上来说，以1000个查询为样本是一个划算的选择。太小波动会大，太大会标记吐血（熟练标记每天可以标记100Q左右）。 Query必须从最近用户自然生成的query中随机抽取，而不是凭空编造的1000字，以保证Query类型（长、短、热、中、外……）的分布接近与实际比率，然后才能得出可靠的结论

　　2 抓取网页：查询确认后，就可以开始抓取百度和谷歌的搜索结果了。为保证结果的公正可靠，应进行盲测，即隐藏两边的品牌特征，在评价过程中随机改变左右顺序。这里比较麻烦的是阿拉丁、知识图谱等特殊展示。熟悉搜索引擎的人一眼就能看出谁属于它。暂时没有办法做到这一点。评估时尽量保持客观和中立。

　　第 5 步：评估

　　最重要的部分在这里，这里是对爬取结果的人工评估。你可以自己做10天；或者找几个人一起做，但你必须先给他们统一的培训，避免不同的标准；你也可以找一群人，每个人再做一次，然后取他们平均的多数票就可以了，当然训练也是必要的，防止过满也是必要的。成本和可靠性依次增加。

　　第 6 步：统计

　　这一步没什么好说的。只需按照您之前想到的方式计算结果并进行总结。百度和谷歌哪个好，哪个好，好多少一目了然。

　　那你下次和别人讨论百度好还是谷歌好，如果你“刷”出这篇报道，你的朋友会被震惊的。那些只知道抛出一两个坏案例来说明问题的人真的很弱......

　　（仅知乎交流，请勿转载，谢谢合作）