搜索引擎:基础原理全景介绍及产品应用场景

但网站内部的搜索功能,基本每家公司都在做,大家但凡使用的成熟一点的互联网APP或者网站,都会提供搜索服务,搜索已经成为信息检索的主流手段了。


 简单聊聊搜索引擎相关的内容。


好久没有聊关于模型、算法相关的内容了。四年前,我主导做过一款金融垂直搜索引擎的产品,对搜索有一些简单的了解。因此后面会尝试分享几篇搜索推荐相关的算法,本篇以搜索的基础原理切入,简单聊聊搜索的基础内容,适合小白入门。



01

什么是搜索引擎


是的,提到搜索引擎,我想大家应该都能想到【百度】、【谷歌】,他们都是搜索引擎。



例如上图,左侧呈现的内容便是搜索结果list。


其实,还有一种搜索引擎,虽然大家也一直在用,但真的关注过嘛?例如像京东的商品搜索:



因此,总结下来,搜索引擎主要包括两类:一类是类似百度、Google这种的专门的搜索引擎,搜索即公司的主要业务;另一类是作为网站内部的一个功能模块,用于服务主流业务的。


目前专职做搜索引擎的公司,其实也不是很多了,国内主要就是百度、搜狗搜索、360搜索这些,行业的集中度已经很高了。(下图仅供参考)



但网站内部的搜索功能,基本每家公司都在做,大家但凡使用的成熟一点的互联网APP或者网站,都会提供搜索服务,搜索已经成为信息检索的主流手段了。不信大家打开手机的美团、知乎、腾讯视频等等,首页核心位置都会提供搜索入口。



专业的搜索引擎和站内搜索功能,异同点有哪些呢?


  • 差异点:主要是两者的检索目标内容是有差别的。专业搜索引擎更加综合,目标是满足用户对于信息(尤其是文本信息)的检索诉求;站内搜索主要的检索对象基本就是网站的服务内容。视频网站搜索的就是视频,外卖网站搜索的就是店铺,电商网站搜索的就是商品等。由于检索的内容、不同网站的业务目标都有差别,因此各个网站内部的搜索逻辑肯定也是千差万别。


  • 相同点:就是都是搜索引擎。核心的技术及大的框架都是基本一致的。



02


搜索服务的核心过程


下面我们聊聊一个搜索服务的核心流程都有哪些。


(1)数据的获取+处理


对于专门的搜索引擎来讲,数据及信息的获取主要指的是爬虫的操作。即下图的sp左侧部分。



各位朋友有没有想过,百度可以实时返回你查询的关键词或者句子,是怎么做到的呢?比如你百度搜索【数据科学】,是实时去全网上全找一圈吗?当然不是。哪怕计算资源再多、计算效率再快,也不可能在短时间内告诉你靠谱的结果。


因此,为了解决效率的问题,所有的搜索引擎都是提前将各类网站的数据爬下来,进行处理加工,等待用户的查询操作。


这里需要做的数据处理加工工作其实是非常多的,比如需要对网页的重复内容进行去重,比如需要对所有的网页进行文本解析、语义识别,比如需要对文本进行索引的建立以便于后续的关键词检索等等。这里就不展开了,后面我们有机会逐一分享。


而对于网站内部的搜索功能模块来讲,数据的获取其实是比较容易的,不需要爬取,都是自己公司数据库中现成的数据。我们以电商网站的搜索举例,要搜索的都是商品,因此主要针对商品数据进行处理就好。而商品的数据肯定有商品表,基础信息已经很丰富了,足够满足搜索的基础应用。相对专业搜索引擎而言,数据处理的难度是小了很多。


(2)搜索query解析


无论用户是否进行搜索,上面的第一个环节都是需要做的基础工作。当用户进行搜索操作时,需要进行的处理的是本环节:query解析。


所谓的query解析,就是理解和分析用户输入的搜索语句(query),到底是个啥意思。


比如输入【数据科学家的主要工作内容是啥】,搜索引擎只是冷冰冰的机器,它是不理解这句话是啥含义的,那它怎么能给你靠谱的答案呢?



其实很多朋友也能想到,直接基于关键词进行匹配呗~是的,大的逻辑没毛病,但是真正落地就会发现,有很多细节问题。


比如,关键词匹配,那首先我得知道【数据科学家的主要工作内容是啥】有哪些关键词对不?这就得进行分词了。所谓的分词,就是对query进行切分为符合常识的关键词,这是典型的NLP(自然语言处理)中的知识内容。比如上面切分成【数据】+【科学】+【家的】+【主要】……还是【数据】+【科学家】+……这是完全不一样的。


再比如下面的【研究生物学】的切分,更是五花八门了。分词相关的NLP算法,后面详细分享,这里只是抛个砖。



再比如,【数据科学家的主要工作内容是啥】这句话,其中有【的】、【是啥】这种词,如果进行关键词匹配是不是会有影响?毕竟这种语气词既没有啥重要性,在网页中出现的频率又高。这里就涉及了核心关键词的提取、权重判断等。


再比如下面这个搜索【我和我的爷辈】,可能是我输入错了,但是query猜出我可能搜的是【我和我的父辈】,进行了纠正,如果一根筋的搜索,是不可能出来这个结果的。



综上,在query解析这个环节,主要需要搞定的是用户输入的语句,如何对语句进行处理,使得机器能够理解语句的含义,便于后续高效地搜索到相关的结果。


当然,基于关键词是比较基础的了,现在更多地朝着知识图谱、问答的方向迈进,更加符合真正的搜索需求。


(3)内容检索召回+排序


上面两个环节,一个环节是从服务端出发,进行数据的处理加工;一个环节是从用户端出发,进行用户搜索语句的理解。


下面就到了第三个重要环节:基于处理后的用户的搜索内容,到处理完的库中检索结果,把相关的内容都找出来,并按照一定的规则进行排序。


这个内容是搜索引擎的核心内容。因此不同的公司、不同网站的搜索引擎逻辑都会差别比较大,而排序逻辑更是千差万别。


需要排序这个事情应该比较好理解,理论上,我们是给匹配到检索内容的结果进行打分,分值高的排在前面。用户肯定是想要看到最相关、或者我们想让用户看到最重要的内容在前面,越往后用户看到的几率越小。


因此,针对如何提升排序这个事情,就诞生了一个专门的行业、职位:SEO优化(Search Engine Optimization),即提升相关内容的网站排名。对于淘宝卖家而言,需要提升自己家商品在淘宝天猫的搜索排名,会进行各种关键词、指标的优化;网站为了提升自己的百度搜索排名,也会进行各种标题等优化。



所以为了保障网站的排名公平,防止大家针对排序规则钻空子,往往各家网站的搜索排序规则、打分权重等都是比较保密的。


(4)搜索结果呈现


最后一个环节,主要就是产品功能层面的内容了,即针对搜索返回的排序好的结果,进行良好的产品化呈现。


比如知乎搜索【薇娅】:



在首页(综合)模块都是各类型搜索结果的top合集:包括讨论相关的内容、问答相关的内容、视频相关等。这种呈现方式是多类型网站比较主流的混合呈现方式。因此,对于搜索而言,每种不同方式也是一个单独的搜索引擎,然后不同的结果进行产品化的merge。


当然,随着技术的越发完善,用户体验不断提升,搜索也会有了各种特型呈现。比如我们在百度搜索【北京青岛】:



这里不再是按照上面的环节进行单纯的检索,而是对某些特定类型的关键词进行了特殊化呈现,这属于在基础搜索服务上的补充。上面这个案例的规则应该是用户输入的query中包含2个城市名称,则触发该特型呈现。感兴趣的朋友可以自己试试【山东山西】、【中国日本】、【北京深圳青岛】等,都是没有特型的,哈哈。


特型呈现对于用户的体验而言是巨大的提升,但对于搜索引擎而言,需要不断的积累,不断地增加,是个很长期的事情。


当然,不止搜索引擎有特型,其他网站内部搜索也是可以有特型呈现的。比如下面淘宝搜索某个品牌名称,除了商品list,还会增加旗舰店店铺的大流量入口(虽然这是个广告位)。



关于搜索相关的技术内容,今天就先介绍这些。搜索涉及的内容非常庞大,不是一篇文章可以讲清楚的,这篇文章主要目的是对搜索的整体框架有个简单的了解,明白搜索的基础工作原理。后面有机会我们再一一展开,分享更多细节的内容。也是比较有趣的。今天的文章就这些,感谢大家关注~



文章来源:作者:NK冬至。公众号:首席数据科学家。

图片来源:部分图片来源网络,版权归原作者所有,不为商业用途,如有侵犯,敬请作者与我们联系。文章为作者独立观点,不代表135编辑器立场。


文章评价
登录后可以评论
立即登录
分享到