按图搜索 “以图搜图”，背后的原理你不懂

​

Google“相似图片搜索”:你可以用一张图片搜索互联网上所有相似的图片。

打开谷歌图像搜索页面:

点击[相机]上传深度学习原图:

单击此处添加标题。点击搜索后，Google会有外观类似的图片。相似度越高，图片正面越高。

这项技术的原理是什么？电脑怎么知道两张图相似？

为了满足大家的好奇心，我来讲讲“尝试搜索图片”背后的故事。

01类似图像搜索引擎

“用图片搜索图片”的官方名称应该叫“相似图像搜索引擎”，也叫“逆向图像搜索引擎”。原始图像搜索引擎是基于文本关键词的。早期的搜索引擎，如Altavista和Lycos，使用图像的文件名和路径名、图像周围的文本以及Alt标签中的注释来索引和搜索相关图像。本质上，这样的图像搜索引擎实际上是基于文本搜索引擎的。有时候图像周围的文字信息与图像无关，会导致一些图像的搜索结果与查询关键词不一致。为了避免这个问题，一些搜索引擎使用手工方法来标记和索引图像。人工标注虽然保证了搜索引擎的精度，但限制了图像索引的规模，不能有很好的召回率。有时候，很难用几个关键词来完整地描述一幅图像的内容。在某些情况下，无论是通过使用与图像网页相关的文本信息还是通过手动标记文本描述，都很难实现高搜索精度。

1992年，T. Kato提出了基于内容的图像检索(CBIR)的概念，利用图像的颜色、形状等信息作为特征建立索引，实现图像检索，俗称“图片检索”。基于这个概念，IBM开发了第一个商业CBIR系统QBIC(按图像内容查询)。用户只需输入一张草图或图像，就可以搜索相似的图像。与此同时，许多公司也将这项技术引入搜索引擎。哥伦比亚大学开发的WebSEEK系统不仅提供基于关键词的图像搜索和按图像类别的主题浏览，还利用图像的颜色信息进行基于内容的图像搜索。雅虎的ImageSurfer还通过使用用例图的颜色、形状和纹理特征及其组合，提供了基于内容的图像搜索功能。随着视觉技术的进步和发展，越来越多的搜索引擎使用这种方法来搜索图像，并在此基础上不断演进。

早期使用“用图片搜索图片”的图片搜索方式的读者，可能会有这样的印象，返回结果的准确性往往不能令人满意。为此，许多视觉研究人员和图像技术开发人员不断提出新的图像特征表示算法。虽然精度有所提高，但并没有从根本上解决精度问题。这是什么原因呢？究其原因，无论是图像的颜色、纹理、形状等全局信息，还是后期的SIFT等局部图像信息，都是人为设计和硬编码的，无法充分表达人类对整个图像内容的理解。

图像搜索的准确率能提高吗？随着人工智能(尤其是深度学习理论和技术)的发展，人们逐渐找到了解决方案。深度学习技术大大提高了图像表达的准确性。许多主流图像搜索引擎都引入了深度学习算法来提高图像搜索的准确性。

现在我们日常使用的百度、搜狗等通用搜索引擎都提供类似的图片检索功能。淘宝、JD.com等电商平台也利用其庞大的商品图像数据库，开发了垂直领域的图像检索功能，以满足消费者难以用语言描述的商品搜索需求。更多的创业公司在各自领域使用类似的图像搜索技术，满足各种图像检索需求，服务更多的行业和消费者。

虽然图像检索技术在我们的生活中得到了广泛的应用，但它还没有完全成熟，还有许多问题需要解决，还有很大的改进和提高空间。搜索结果与用户期望还有一定距离，存在一定的图像语义差距。这也是从事这项技术研发的研究者不断进步的动力。

02搜索引擎的一般结构

按照一般的抽象方法，我们可以把事物的非关键特征分离出来，只保留它们最本质的特征。对于现有技术中的搜索引擎，需要预先生成一个索引数据库，然后对其进行搜索和查询。

如图所示，首先需要对输入数据进行预处理，以便我们进一步分析。接下来，文本搜索引擎的词汇和语法处理阶段被抽象为输入数据的特征提取。提取的词是构成文档特征向量的基本元素，反向索引数据库是特征和文档对应的集合。对于查询数据，我们还需要提取其特征，然后计算其特征向量与索引数据库中所有特征向量的相似度，最后返回指定数量的相似结果。

抽象搜索引擎结构

03自制AI图像搜索引擎

为了彻底了解这类图像搜索引擎的技术原理，我反复搜索阅读了当时互联网上比较稀缺的相关资料，但结果很少。直到后来，我遇到了一个叫做LIRE的开源项目，它让我对图像搜索引擎的技术原理有了初步的了解。然而，在实际应用中，LIRE的效果并不太好。为了解决这个问题，我找到了“深度学习”的强力助手。

在探索原理的过程中，我发现国内几乎没有一本书介绍图像搜索引擎的基本原理和实现，这成为了自制AI图像搜索引擎诞生的原因。

图像搜索引擎的实现方式有两种:基于图像上下文文本特征的方式和基于图像视觉内容特征的方式。本书所指的图像搜索引擎是基于内容特征的图像检索，俗称“图片搜索图片”来检索相似图片。本书主要阐述了搜索引擎技术的发展、文本搜索引擎的基本原理和搜索引擎的总体结构，并详细描述了图像搜索引擎主要组件的原理和实现，构建了一个基于深度学习的Web图像搜索引擎。

​

为什么要看自制AI图像搜索引擎？

​

业内唯一，还等什么？

目前，在国内计算机专业图书市场上，关于图像检索的书籍很少。据我所知，中文专业书籍只有两本:科学出版社出版的清华大学教授的《基于内容的视觉信息检索》和清华大学出版社出版的北师大周教授的《基于内容的图像检索技术》。这两本书都是纯学术著作，理论丰富，实践相对不足。另外，这两本书都是在本世纪初，也就是深度学习技术普及之前出版的，所以两本书都没有包含将深度学习应用于图像检索的内容。

自制AI图像搜索引擎，由一线开发者编写，重在实践，结合传统和现代的方法。可以说是目前市面上唯一一本关于AI图像检索的书。

深度学习理论与应用场景紧密结合，与技术和落地紧密结合

自从2016年AlphaGo以4:1的比分击败世界顶级围棋选手李世石后，AlphaGo所依赖的深度学习算法在大众中迅速普及。同时，各大科技公司在深度学习领域投入巨资，开始高薪聘请首席科学家、算法研究人员和工程师。书市也推出了各种深度学习的理论书籍。然而，随着时间的推移，许多理论缺乏应用场景，也没有产生实际效用。与其他理论和技术不同，AI图像检索技术具有明确的应用场景和目标市场，能够将深度学习理论与应用场景紧密结合，可谓“技术落地”。

用理论指导编码，用代码解释理论，相辅相成

自制AI图像搜索引擎中的每一个图像检索理论都配有一段Java代码，让读者能够深入理解理论并转化为编码实现。这本书既能为理论基础强而实践能力弱的学术读者，也能为实践能力强而理论基础弱的开发者提供有针对性的指导。

循序渐进，通俗易懂，适合各级开发者起步

“自制AI图像搜索引擎”采用循序渐进的叙述方式，沿着历史和技术的发展，从文本搜索引擎的基本原理中逐渐抽象出搜索引擎的总体结构，然后从文本演变为图像。结合具体的实现代码，全面描述了图像搜索引擎中各个组件的基本原理。任何一个愿意理解和学习AI图像搜索引擎的读者，读完这本书都可以在理论和实践上收获很多。

提供一个从零开始构建人工智能图像搜索引擎的案例教程，随时可以使用

在最后一章，“自制AI图像搜索引擎”提供了一个基于从零开始深度学习的Web图像搜索引擎构建教程，以及相应的可以在实践中运行的项目代码，真的是随时可以学习。读者不仅可以先尝试操作效果，还可以稍微有一点成就感的学习相关的理论和技术，或者在学习了相关的理论和技术之后，学习最后一章的代码和实现过程。

易学“自制AI图像搜索引擎”，你需要掌握:

京东200多减100

-结束-

异步书籍

说说书背后的故事