一種基于文本索引的實時圖像檢索方法
【專利摘要】本發明提供了一種基于文本索引的實時圖像檢索方法，步驟包括：構建字典樹并獲得各個特征向量vq組成圖像查詢庫、提取輸入圖像的圖像特征點并生成特征描述子、將輸入圖像的特征描述子序列化為用特征字典表示的特征向量vd、計算圖庫中的特征向量與輸入圖像序列化后的特征向量間的相似度sim(vq,vd)以及驗證檢索出來的M張圖片并檢索結果等步驟。該圖像檢索方法將圖像特征換成文本向量，特征檢索變成文本檢索的方法，使得檢索速度能達到實時，同時在識別結果上做了更深層次的驗證，使得方法更具魯棒性。
【專利說明】
一種基于文本索引的實時圖像檢索方法
技術領域
[0001] 本發明涉及一種圖像檢索方法，尤其是一種基于文本索引的實時圖像檢索方法。
【背景技術】
[0002] 隨著計算機視覺及搜索引擎的快速發展，圖像檢索技術在各行業得到了越來越多 的重視。特別是現在深度學習的出現，使得圖像檢索方面的研究再次成為了熱點。
[0003] 傳統的圖像檢索方法主要有模板匹配以及特征匹配等方法，但是該類算法會隨著 數據量的增大，計算量以及內存會越來越大，沒法做到大數據的圖像檢索，而且隨著圖庫的 增加，其檢索時間也會隨之邊長，當數據量到一定程度時，該類算法沒法做到實時，極大的 限制了其使用的范圍。之后B0W提出將圖像特征變為單詞向量的方法，極大的減少了內存的 開銷和檢索時間。但是傳統的方法采用SIFT，SURF等特征去提取特征點，使得算法在構建視 覺詞庫時花的時間會比較長。當今非常流行的deep learning的提出，使得圖像檢索可以達 到一個很高的識別率，但是由于deep learning需求大量的數據，而且訓練時間很長，內存 需求很大等限制，使得其不能用于很多場合。

【發明內容】

[0004] 本發明要解決的技術問題是傳統的圖像檢索方法采用sift、SUrf等描述子提取圖 像特征，使得其生成字典樹的時間比較長，在某些快速應用場合不適用。
[0005] 為了解決上述技術問題，本發明提供了一種基于文本索引的實時圖像檢索方法， 包括如下步驟：
[0006] 步驟1，構建字典樹，具體步驟為：
[0007] 步驟1.1，用FAST角點算法分層提取圖庫中每一張圖像的多尺度仿射不變特征點， 并根據不變特征點的分布篩選部分特征點生成特征描述子數據庫D;
[0008] 步驟1.2，用聚類算法分層訓練特征描述子，當層數1 = 1時，將特征描述子數據庫D 分為K個子類，即011，012，-_，011(，再用同樣的方法訓練1 = 2，-_丄層的特征描述子，最終生成 L層且每層有K1個節點的字典樹；
[0009] 步驟1.3將字典樹最外層的節點作為特征字典，共K1個特征字典，再統計每一個特 征字典在圖庫中出現的次數，并根據出現的次數計算出每一個特征字典的權值^，再生成 圖庫中每一張圖像的特征向量Vq，并由各個特征向量Vq組成圖像查詢庫；
[0010] 步驟2,對于輸入圖像，采用FAST角點算法分層提取輸入圖像的圖像特征點，并根 據特征點的分布篩選部分特征點生成輸入圖像的特征描述子；
[0011] 步驟3,根據生成的字典樹將輸入圖像的特征描述子序列化為特征字典表示，再根 據序列化后的特征字典的權值生成輸入圖像的特征向量Vd;
[0012] 步驟4,計算圖像查詢庫中的各個特征向量vq與輸入圖像序列化后的特征向量vd之 間的相似度s i m ( v q，v d )，并返回相似度超過相似閾值的Μ張圖片，其中，
T表示矩陣的轉置；
[0013] 步驟5,分別驗證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該 張檢索出來的圖片為檢索結果。
[0014] 采用將圖像特征換成文本向量，特征檢索變成文本檢索的方法，使得檢索速度能 達到實時;采用基于FAST多尺度提取，再結合尺度及其角度信息生成描述子，極大的縮短了 時間，同時也縮短了描述子的長度;在識別結果上做了更深層次的驗證，使得方法更具魯棒 性。
[0015] 作為本發明的進一步限定方案，步驟1.3中，tflogi，-1，·…"，rud表示第i個 特征字典在特征描述子數據庫D中的出現的次數，nd表示特征描述子數據庫D中特征字典的 數量，N表示圖庫中圖像的數量，K表示圖庫中出現第i個特征字典的次數。
[0016] 本發明的有益效果在于：（1)采用將圖像特征換成文本向量，特征檢索變成文本檢 索的方法，使得檢索速度能達到實時；（2)采用基于FAST多尺度提取，再結合尺度及其角度 信息生成描述子，極大的縮短了時間，同時也縮短了描述子的長度；（3)在識別結果上做了 更深層次的驗證，使得方法更具魯棒性。
【附圖說明】
[0017] 圖1為本發明的方法流程圖。
【具體實施方式】
[0018] 如圖1所示，本發明的基于文本索引的實時圖像檢索方法，包括如下步驟：
[0019] 步驟1，構建字典樹，具體步驟為：
[0020] 步驟1.1，用FAST角點算法分層提取圖庫中每一張圖像的多尺度仿射不變特征點， 并根據不變特征點的分布篩選部分特征點生成特征描述子數據庫D;
[0021 ]步驟1.2，用聚類算法分層訓練特征描述子，當層數1 = 1時，將特征描述子數據庫D 分為K個子類，即011，012，~，011(，再用同樣的方法訓練1 = 2，~丄層的特征描述子，最終生成 L層且每層有K1個節點的字典樹，本實施例中，L = 3，K=10;
[0022] 步驟1.3將字典樹最外層的節點作為特征字典，共妙個特征字典，再統計每一個特 征字典在圖庫中出現的次數，并根據出現的次數計算出每一個特征字典的權值^，再生成 圖庫中每一張圖像的特征向量v q，并由各個特征向量^組成圖像查詢庫，其中 f logf "_=|，…，w，md表示第i個特征字典在特征描述子數據庫D中的出現的次數，nd表 示特征描述子數據庫D中特征字典的數量，N表示圖庫中圖像的數量，化表示圖庫中出現第i 個特征字典的次數；
[0023] 步驟2,對于輸入圖像，采用FAST角點算法分層提取輸入圖像的圖像特征點，并根 據特征點的分布篩選部分特征點生成輸入圖像的特征描述子；
[0024] 步驟3,根據生成的字典樹將輸入圖像的特征描述子序列化為特征字典表示，再根 據序列化后的特征字典的權值生成輸入圖像的特征向量Vd;
[0025] 步驟4，計算圖像查詢庫中的各個特征向量vq與輸入圖像序列化后的特征向量Vd之 間的相似度S i m ( V q，V d )，并返回相似度超過相似閾值的Μ張圖片，其中，
「表示矩陣的轉置；
[0026]步驟5,分別驗證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該 張檢索出來的圖片為檢索結果。
[0027] 本發明與傳統的圖像檢索方法相比優勢在于:采用將圖像特征換成文本向量，特 征檢索變成文本檢索的方法，使得檢索速度能達到實時;采用基于FAST多尺度提取，再結合 尺度及其角度信息生成描述子，極大的縮短了時間，同時也縮短了描述子的長度;在識別結 果上做了更深層次的驗證，使得方法更具魯棒性。本發明的圖像檢索方法不論是圖庫的創 建時間、占用的內存以及檢索準確率均遠遠優于現有算法。
[0028] 本發明的基于文本索引的實時圖像檢索方法在進行實驗驗證時，硬件環境設置 為:win8、vs2010DEBUG模式下、i7處理器以及8G內存；建圖部分:找了 100張圖像，640*480， 不變特征點的數量為200~500,每幅圖像所用時間少于200ms，一般在18000~20000ms之 間，生成7234K的文件;檢索部分:檢測特征點并生成特征描述子，20ms內，檢索速度10ms內， 驗證10ms內。
【主權項】
1. 一種基于文本索引的實時圖像檢索方法，其特征在于，包括如下步驟： 步驟1，構建字典樹，具體步驟為： 步驟1.1，用FAST角點算法分層提取圖庫中每一張圖像的多尺度仿射不變特征點，并根 據不變特征點的分布篩選部分特征點生成特征描述子數據庫D; 步驟1.2，用聚類算法分層訓練特征描述子，當層數1 = 1時，將特征描述子數據庫D分為 K個子類，即Dii，Di2,…，DiK，再用同樣的方法訓練1 = 2,…，L層的特征描述子，最終生成L層 且每層有Κ?個節點的字典樹； 步驟1.3將字典樹最外層的節點作為特征字典，共1(^個特征字典，再統計每一個特征字 典在圖庫中出現的次數，并根據出現的次數計算出每一個特征字典的權值ti，再生成圖庫 中每一張圖像的特征向量Vq，并由各個特征向量Vq組成圖像查詢庫； 步驟2,對于輸入圖像，采用FAST角點算法分層提取輸入圖像的圖像特征點，并根據特 征點的分布篩選部分特征點生成輸入圖像的特征描述子； 步驟3,根據生成的字典樹將輸入圖像的特征描述子序列化為特征字典表示，再根據序 列化后的特征字典的權值生成輸入圖像的特征向量Vd; 步驟4,計算圖像查詢庫中的各個特征向量Vq與輸入圖像序列化后的特征向量vd之間的 相似度sim(vq，vd)，并返回相似度超過相似闊值的Μ張圖片，其中隸 示矩陣的轉置； 步驟5,分別驗證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該張檢 索出來的圖片為檢索結果。2. 根據權利要求1所述的基于文本索引的實時圖像檢索方法，其特征在于，步驟1.3中，= l，-'，n，nid表示第i個特征字典在特征描述子數據庫D中的出現的次數，nd 表示特征描述子數據庫D中特征字典的數量，N表示圖庫中圖像的數量，Ni表示圖庫中出現 第i個特征字典的次數。
【文檔編號】G06F17/30GK105975643SQ201610584562
【公開日】2016年9月28日
【申請日】2016年7月22日
【發明人】潘銘星, 馮向文, 孫健, 楊佩星, 趙金輝, 付俊國
【申請人】南京維睛視空信息科技有限公司