智东西公开课讲师
邸志惠京东高级算法工程师导读：6月10日，京东高级算法工程师邸志惠在智东西公开课进行了CV前沿讲座第八讲的直播讲解，主题为《大规模图像检索系统的挑战与实践》。在本次讲解中，邸志惠老师从大规模图像检索任务所面临的挑战入手，详细解析了Vearch的原理，最后通过三个案例展示Vearch如何在实践场景中助力深度学习应用落地。本文为此次课程主讲环节的图文整理：正文：大家好，我是邸志惠，今天我要分享的主题为《大规模图像检索系统的挑战与实践》，我们会分为3个部分：1、大规模图像检索任务所面临的挑战2、Vearch原理解析3、Vearch在深度学习场景中的实践大规模图像检索任务所面临的挑战随着深度学习技术的快速发展，它的相关应用也渗透到了我们生活的方方面面。深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的，这就出现了海量高维特征向量的存储与计算问题，这些问题急需得到很好的解决。人脸识别与拍照购场景：智能助理与娱乐场景：我们现在的生活已经被AI所包围，比如早上进办公室时，需要过人脸闸机，但就是这简单的生活场景，想一下之前传统的方案是什么样子？若有陌生人来，我们靠保安去识别时，怎么去判断准确性？即使保安熟悉天天进出的人，他也不会记忆这么多人的信息，而且对每个人的精准识别也是有限的。所以，传统的方案在应对这些场景时都是会有很大的瓶颈。然而深度学习可以利用生物特征的唯一性以及难以作假的特性。以上这些场景，都是新的query与数据库中数据做搜索对比得到排序结果的应用。传统方案是采用人工提取特征，但是由于特征量少，无法刻画事物的唯一性，比如人脸识别过闸机场景，证件等外部性证明都容易作假，靠保安人员记忆，容貌相近的无关人员有可能乱入，还有银行卡靠账户密码转账的盗刷事件时有发生。上述杯子拍照购场景，无论搜卡通杯，还是白色陶瓷杯，还是白色卡通陶瓷杯都无法精确得到上图结果。深度学习的出现，通过编码图片、文本、视频等的高维度信息为固定维特征向量，使事物得到精准量化表示，导致搜索结果可以高质量精准排序。比如上述人脸场景，深层网络会提取人脸的眼睛、鼻子、嘴巴、皮肤纹理等上万维特征编码成向量来唯一刻画人脸的唯一性。在智能助理外卖推荐场景，深层网络可以分别把用户画像(口味，位置距离，性别，薪资)等多个维度的信息与商家画像（菜品，菜价，评论，风格，距离）多个维度信息编码成高维特征向量，计算二者的相似度，做精准量化匹配。但是深度学习的使用也面临新的棘手的问题：海量高维特征的存储问题特征向量的相似性计算搜索问题这两大问题，传统数据库是基于key/value的模糊查询搜索原理，无法完成向量计算的操作。目前落地环节都是针对各自场景自己训练深度学习算法，在开发对应的向量检索系统，存在大量重复工作，这对算法工程师也不友好。目前尚没有通用的在线解决方案，我们开源的vearch专门针对上述问题开发的在线易用的，用以解决海量特征向量的存储、计算、相似向量检索问题。Vearch原理解析Vearch是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统，主要解决数亿级别向量的存储和计算查询的问题。Vearch整体架构如下：分为三个组件：Master，Router，PartitionServerMaster：负责schema管理，集群级别的源数据和资源协调。Router：提供RESTfulAPI:create、delete、search、update;请求路由转发及结果合并。PartitionServer(PS)：基于raft复制的文档分片;Gamma向量搜索引擎,它提供了存储、索引和检索向量、标量的能力。Vearch功能简介支持CPU与GPU两种版本。支持实时添加数据到索引。支持单个文档定义多个向量字段,添加、搜索批量操作。支持数值字段范围过滤与string字段标签过滤。支持IVFPQ、HNSW、二进制等索引方式。支持内存、磁盘两种数据存储方式，支持超大数据规模自研gamma引擎，提供高性能的向量检索，同时IVFPQ倒排索引支持