出品
智东西公开课讲师
邸志惠京东高级算法工程师
导读：
6月10日，京东高级算法工程师邸志惠在智东西公开课进行了CV前沿讲座第八讲的直播讲解，主题为《大规模图像检索系统的挑战与实践》。
在本次讲解中，邸志惠老师从大规模图像检索任务所面临的挑战入手，详细解析了Vearch的原理，最后通过三个案例展示Vearch如何在实践场景中助力深度学习应用落地。
本文为此次课程主讲环节的图文整理：
正文：
大家好，我是邸志惠，今天我要分享的主题为《大规模图像检索系统的挑战与实践》，我们会分为3个部分：
1、大规模图像检索任务所面临的挑战2、Vearch原理解析3、Vearch在深度学习场景中的实践
大规模图像检索任务所面临的挑战
随着深度学习技术的快速发展，它的相关应用也渗透到了我们生活的方方面面。深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的，这就出现了海量高维特征向量的存储与计算问题，这些问题急需得到很好的解决。
人脸识别与拍照购场景：
智能助理与娱乐场景：
我们现在的生活已经被AI所包围，比如早上进办公室时，需要过人脸闸机，但就是这简单的生活场景，想一下之前传统的方案是什么样子？若有陌生人来，我们靠保安去识别时，怎么去判断准确性？即使保安熟悉天天进出的人，他也不会记忆这么多人的信息，而且对每个人的精准识别也是有限的。所以，传统的方案在应对这些场景时都是会有很大的瓶颈。然而深度学习可以利用生物特征的唯一性以及难以作假的特性。
以上这些场景，都是新的query与数据库中数据做搜索对比得到排序结果的应用。传统方案是采用人工提取特征，但是由于特征量少，无法刻画事物的唯一性，比如人脸识别过闸机场景，证件等外部性证明都容易作假，靠保安人员记忆，容貌相近的无关人员有可能乱入，还有银行卡靠账户密码转账的盗刷事件时有发生。上述杯子拍照购场景，无论搜卡通杯，还是白色陶瓷杯，还是白色卡通陶瓷杯都无法精确得到上图结果。
深度学习的出现，通过编码图片、文本、视频等的高维度信息为固定维特征向量，使事物得到精准量化表示，导致搜索结果可以高质量精准排序。比如上述人脸场景，深层网络会提取人脸的眼睛、鼻子、嘴巴、皮肤纹理等上万维特征编码成向量来唯一刻画人脸的唯一性。在智能助理外卖推荐场景，深层网络可以分别把用户画像(口味，位置距离，性别，薪资)等多个维度的信息与商家画像（菜品，菜价，评论，风格，距离）多个维度信息编码成高维特征向量，计算二者的相似度，做精准量化匹配。
但是深度学习的使用也面临新的棘手的问题：
海量高维特征的存储问题特征向量的相似性计算搜索问题
这两大问题，传统数据库是基于key/value的模糊查询搜索原理，无法完成向量计算的操作。目前落地环节都是针对各自场景自己训练深度学习算法，在开发对应的向量检索系统，存在大量重复工作，这对算法工程师也不友好。目前尚没有通用的在线解决方案，我们开源的vearch专门针对上述问题开发的在线易用的，用以解决海量特征向量的存储、计算、相似向量检索问题。
Vearch原理解析
Vearch是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统，主要解决数亿级别向量的存储和计算查询的问题。
Vearch整体架构如下：
分为三个组件：Master，Router，PartitionServer
Master：负责schema管理，集群级别的源数据和资源协调。Router：提供RESTfulAPI:create、delete、search、update;请求路由转发及结果合并。PartitionServer(PS)：基于raft复制的文档分片;Gamma向量搜索引擎,它提供了存储、索引和检索向量、标量的能力。
Vearch功能简介
支持CPU与GPU两种版本。支持实时添加数据到索引。支持单个文档定义多个向量字段,添加、搜索批量操作。支持数值字段范围过滤与string字段标签过滤。支持IVFPQ、HNSW、二进制等索引方式。支持内存、磁盘两种数据存储方式，支持超大数据规模自研gamma引擎，提供高性能的向量检索，同时IVFPQ倒排索引支持