看看搜索引擎入门(4)—查询结果排序

yizhongqiao

TFIDF鉴于社会的实际需要，亚马逊代运营需要改变一些原有的问题，更好的服务于社会，造福于人们。

TF(词频)IDF(逆文档频率)在自动提取文章关键词上经常用到，通过它可以知道某个关键字在这篇文档里的重要程度。其中TF表示某个Term在Document里出现的频次，越高说明越重要；DF表示在全部Document里，共有多少个Document出现了这个词，DF越大，说明这个词很常见，并不重要，越小反而说明他越重要，IDF是DF的倒数(取log)，IDF越大，表示这个词越重要。

TFIDF怎么影响搜索排序，举一个实际例子来解释：

假定现在有一篇博客《Blink实战总结》，我们要统计这篇文章的关键字，首先是对文章分词统计词频，出现次数最多的词是&quot的&quot、&quot是&quot、&quot在&quot，这些是停用词，基本上在所有的文章里都会出现，他对找到结果毫无帮助，全部过滤掉。

只考虑剩下的有实际意义的词，如果文章中词频数关系：Blink词频总结，那么肯定是Blink是这篇文章更重要的关键字。但又会遇到了另一个问题，如果发现&quotBlink&quot、&quot实战&quot、&quot总结&quot这三个词的出现次数一样多。这是不是意味着，作为关键词，它们的重要性是一样的？

不是的，通过统计全部博客，你发现含关键字总博客数：Blink&lt实战&lt总结，这时候说明Blink不怎么常见，一旦出现，一定相比实战和总结，对这篇文章的重要性更大。

BM25
上面解释了TF和IDF，那么TF和IDF谁更重要呢，怎么计算最终的相关性得分呢？那就是BM25。

BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。

BM25算法的一般性公式如下：
其中，Q表示Query，qi表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素qi。）；d表示一个搜索结果文档；Wi表示语素qi的权重；R(qi，d)表示语素qi与文档d的相关性得分。

其中Wi通常使用IDF来表达，R使用TF来表达；综上，BM25算法的相关性得分公式可总结为：
BM25通过使用不同的语素分析方法、语素权重判定方法，以及语素与文档的相关性判定方法，我们可以衍生出不同的搜索相关性得分计算方法，这就为我们设计算法提供了较大的灵活性。

看看搜索引擎入门(4)—查询结果排序

浏览过的版块