许晴张翰郑爽视频:基于内容的图像检索技术1，2

近年来，随着多媒体技术和计算机网络的飞速发展，全世界的数字图像的容量正以惊人的速度增长。无论是军用还是民用设备，每天都会产生数以万兆字节的图像。这些数字图像中包含了大量有用的信息。然而，由于这些图像是无序地分布在世界各地，图像中包含的信息无法被有效地访问和利用。这就要求有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。图像检索技术分为基于文本的图像检索技术（text-based image retrieval）和基于内容的图像检索技术（content-based image retrieval）。本文就基于内容的图像检索技术作一介绍。

一、概述

基于内容的图像检索技术是一种综合集成技术,它通过分析图像的内容,如颜色、纹理等,建立特征索引,并存储在特征库中。用户在查询时,只要把自己对图像的模糊印象描述出来,就可以在大容量图像库中找到想要的图像。基于内容的图像检索技术与其它相关学科的主要区别是:首先,它是一种信息检索技术,应能从大型分布式数据库中以用户可以接受的响应时间及尽量与领域无关的方式(在需要时也可以是与领域相关的)检索到想要的图像信息。它可以不去理解图像中的对象,更关注的是信息的快速查询和发现。举个例子来说,用户想买一辆汽车,那么他选定了汽车的颜色和外形,数据库系统就能返回所有符合条件的汽车的图像,从而帮助用户快速找到目标。其次,作为一种多媒体技术,它具有很强的交互性,即用户可以参与检索过程。最后,它引入了特征库和知识辅助的概念。用特征库保存描述图像内容的特征,知识辅助有利于查询优化和快速匹配。

从图像检索的应用角度出发,除了采用传统的结构化查询方法以外,还可以采用可视的示例查询方式。具体可以分为以下几种:

1.准确实例检索和查询

准确实例检索和查询(Retrieval And Query By Exact Example)针对用户给出的确切查询实例,如用户拿到某地区的照片或图样,需查询有关该地区的其它信息,这种查询称作完全的实例查询。由于用户可以给出要求查询的原图像,检索可以针对图像的任何特征进行,因此,相对来说比较容易。

2.模糊实例查询

在基于内容的查询中,大部分查询实际上都是模糊实例查询(Retrieval And Query By Fuzzy Example)。因为在很多情况下,用户无法给出一个完全的例子,往往只能给出(或者说从一部分示例中选择出)一个想要检索的图像的例子,然后系统依照这个例子查找与它相似的图像,并将相似结果返回给用户,用户可以在这些相似的结果中决定或再次选择更接近用户查询的图像,从而进行下一次相似性计算,以达到模糊检索的目的。目前,大部分QBE(Query By Example)所用的实际上都是这种模糊查询。

3.描绘示例检索和查询

描绘示例检索和查询(Retrieval And Query By Describable Example)是针对用户给出的所需图像的粗略结构化描述进行处理。如用户提供一个(可能是画的)需查找图像的"形状"的粗略轮廓,在这种情况下,一般没有一个完全的实例,因此,只有用一些局部特征,这时需要抽取这些局部特征,如形状或每个形状所定义的在图像中空间定位的相关结构。对于形状的每个部分,必须在库中找到相应的形状,并返回相应的图像集。

基于内容的图像检索技术2

二、图像特征提取与表达的方法

不论哪种查询方法,都需要针对图像的具体特征进行匹配检索。在实际应用中,用户一般对颜色、纹理、形状以及目标的空间关系等特征比较敏感。下面就常用的特征介绍几种基于内容的图像检索方法。

1、基于颜色特征的检索

颜色特征是图像最直观、最明显的特征,一般用直方图描述。直方图的横轴表示颜色等级,纵轴表示在某一个颜色等级上具有该颜色的象素在整幅图像中所占的比例。以直方图为特征的常用的匹配方法有:

1.矢量距离法

以图像的直方图在各个灰度级上的值构成特征矢量,按照欧氏距离公式计算特征矢量之间的距离,以这个距离值代表图像之间的差别程度。试验证明,如果选择合适的彩色空间,那么,欧氏距离与人感觉的颜色差别是一致的。

2.直方图交叉法

取两幅图像的直方图在各个灰度级上的较小值,累加后即表示图像之间的相似程度。这种相似度实际上表示两幅图像的公共部分。

3.直接差值法

把直方图在各个灰度级上的值对应相减,并做归一化处理,用差值代表图像之间的差别。如果两幅图像内容一样,则相似度为1。相似度值越小,表示图像间差别越大。

另外,根据图像的不同特点,可以采用不同的方法对图像进行预处理,然后用直方图进行匹配,以满足不同的检索要求。

认知科学及视觉心理学证明,人类不能像计算机显示器那样只使用RGB(红、绿、蓝)成份感知颜色,因此,选择一个适合于人类视觉特征的颜色空间可以改善检索效果。实验证明,HSV模型是一种适合人眼分辨的模型,在基于内容检索中用这种模型更适合用户的肉眼判断。这种颜色模型把彩色信号表示为三种属性:色调(Hue)、饱和度(Saturation)和亮度(Value)。色调H表示从一个物体反射过来或透过物体的光波长,亮度V是颜色的明暗程度,色度或饱和度S指颜色的深浅。例如,同样是红色,会因浓度不同而分为深红和浅红。一般一幅图像的颜色非常多,尤其是真彩色图像,因此,直方图矢量的维数也会非常多。如果对HSV空间进行适当的量化后再计算直方图,则计算量要少得多。所以,将H、S、V三个分量按照人的感知进行非等间隔量化,然后通过数学公式把HSV三维空间中的特征矢量转换为一维空间中的特征矢量。转换工作会带来误差,但对检索结果影响不大。

由于所采用的彩色空间与人的感知是一致的,因此,用转换后的直方图计算的差值对应于感知上的差别,这样可以比较明显地区分颜色上不相似的图像。虽然直方图特征计算简单,但不能反映图像中对象的空间特征。颜色对(Color Pair)方法可以解决这个问题。该方法把图像分成相同大小的若干个小块,那么,每一个小块与相邻的小块构成颜色对。考虑每个小块与周围8个小块的颜色距离,距离越大,说明相邻小块的差别越明显,于是,可以认为这两个小块分别属于目标和背景,反之则属于同一目标或背景。这样,目标的空间特征就表现出来了。首先计算颜色对之间的距离,然后选择若干个距离值较大的颜色对代表查询图像的特征,这一过程如下图所示。

主色调查询主要使用颜色特征。主色调能够代表一幅图像的基本概貌,如蓝色主色调往往与大海或蓝天的图像相关,如果用户想要查找大海的照片,则可以指定蓝色作为主色调。但主色调仅仅反映了图像的大致情况,由于人的肉眼的分辨率有限,因此,可以选取两种以上颜色作为主色调。

有时,用户只想找具有某种颜色的目标,而对背景并不感兴趣。在这种情况下,必须将图像目标标识出来,即对图像进行分割,将背景滤掉。目前已有不少分割算法。在具体应用中,可以根据图像分割算法由计算机自动分割,也可以人工参与进行半自动分割。对分割后图像目标的颜色进行检索,可以满足用户基于色彩的模糊查询。