一種圖像檢索的方法及裝置的制造方法
【專利摘要】本發明適用于信息技術領域，提供了一種圖像檢索的方法及裝置，包括：獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子；將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“0”和“1”的向量形式；分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。本發明將圖片的描述子由Fisher向量轉換為只包含元素“0”和元素“1”的向量，以在進行向量內積運算之前對圖片進行初步篩選，減少了進行向量內積運算的樣本圖片數量，從而在大規模的圖片檢索系統中大大地提升了圖像檢索的運算速度，提高了檢索效率。
【專利說明】
一種圖像檢索的方法及裝置
技術領域
[0001]本發明屬于信息技術領域，尤其涉及一種圖像檢索的方法及裝置。
【背景技術】
[0002]隨著數字技術、傳感技術和網絡技術的飛速發展，圖片的數量越來越多，內容也越來越豐富，基于內容的圖像檢索方式開始發展起來，由最初的基于顏色信息和形狀信息生成描述子以進行檢索，發展到基于BOW (bag of words)模型進行檢索，通過特征點提取，并對提取的特征點進行聚類后生成直方圖，以作為每幅圖片的描述子，用于進行相似度匹配，完成圖像檢索。
[0003]基于BOW模型，現有技術利用高斯混合模型(Gaussian Mixture Model，GMM)產生Fisher向量形式的描述子，然而，隨著圖片數量的增加，為了不影響檢索的精度，生成Fisher向量所要用到的高斯模型的個數也需要增加，導致最后Fisher向量的維度是線性增長的，從而影響了圖像檢索的效率。

【發明內容】

[0004]本發明實施例的目的在于提供一種圖像檢索的方法及裝置，旨在解決現有技術中由于圖片數量增加，圖像檢索的效率受影響的問題。
[0005]本發明實施例是這樣實現的，一種圖像檢索的方法，包括:
[0006]獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子；
[0007]將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式；
[0008]分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。
[0009]本發明實施例的另一目的在于提供一種圖像檢索的裝置，包括:
[0010]獲取單元，用于獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子；
[0011]轉換單元，用于將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“ I”的向量形式；
[0012]檢索單元，用于分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。
[0013]本發明實施例將圖片的描述子由Fisher向量轉換為只包含元素“O”和元素“ I”的向量，以在進行向量內積運算之前對圖片進行初步篩選，減少了進行向量內積運算的樣本圖片數量，從而在大規模的圖片檢索系統中大大地提升了圖像檢索的運算速度，提高了檢索效率。
【附圖說明】
[0014]圖1是本發明實施例提供的圖像檢索的方法的實現流程圖；
[0015]圖2是本發明實施例提供的圖像檢索的方法S102的具體實現流程圖；
[0016]圖3是本發明實施例提供的圖像檢索的方法S103的具體實現流程圖；
[0017]圖4是本發明實施例提供的圖像檢索的裝置的結構框圖。
【具體實施方式】
[0018]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
[0019]圖1示出了本發明實施例提供的圖像檢索的方法的實現流程，詳述如下:
[0020]在SlOl中，獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子。
[0021]首先，基于BOW模型對樣本圖片和輸入圖片分別依次進行特征提取和特征聚類，得到每張圖片的描述子，該描述子用Fisher向量形式進行表示。
[0022]其中，可以采用特征點提取的方式，例如，尺度不變特征轉換(Scale-1nvariantfeature transform，SIFT)算法，SURF (Speeded Up Robust Features)算法等，對輸入圖片進行特征提取，其中，SIFT特征具有旋轉不變形、尺度不變性、以及對亮度變化保持不變性等良好特性。同時，由于圖片顏色信息也具備一定的區分度，因此，也可以對輸入圖片進行顏色特征提取。此外，還可以對輸入圖片進行整個圖像或者某一部分圖像的方向梯度直方圖(Histograms of Oriented Gradients, HOG)特征提取。
[0023]在本實施例中，采用GMM，選取一定數量的高斯函數，利用提取到的特征點訓練GMM的各個參數。其中，用X= {xt，t = 1，…，T}表示從圖片中提取到的特征向量，GMM的參數為λ = Iwi, μ;，Σ i，i = 1，…，N}，W1、μ^ΡΣ i分別表示高斯函數i的權重、均值向量和協方差矩陣，所述N為高斯函數的個數。
[0024]而基于GMM的Fisher向量生成在很多研究工作中相應提到，根據數據庫圖片(即樣本圖片)的規模，選擇適當的GMM數量N，對于圖像的特征提取產生D維的特征向量(例如，SIFT特征向量為128維，SURF特征向量為64維，顏色特征向量為96維)，最后生成的Fisher向量維度為(2*D+1)*N-1，而一般在實際應用中，由于忽略了 O階信息，因此最后的實際向量維度為2*D*N。
[0025]從以上描述可以看出，圖片數量的增長會間接導致GMM數量N的增長，而對于大規模的圖像檢索，通常最后向量的維度是上萬維，計算圖片相似度的時候采用向量內積的計算方式，這樣無疑會因為維度過高，圖片數量過大而大大降低運算的效率。因此，在S102中，對Fisher向量進行轉換，以簡化圖片的相似度計算復雜度:
[0026]在S102中，將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式。
[0027]作為本發明的一個實施例，可以將Fisher向量轉換成同維度的只包含元素“O”和“I”的向量(以下簡稱01向量)，其轉換方法如下:
[0028]將所述Fisher向量中大于或等于O的元素置I，并將所述Fisher向量中小于O的元素置O，得到每張所述樣本圖片的第三描述子和所述輸入圖片的第四描述子。
[0029]具體地，通過如下公式重置Fisher向量描述子:
[0030]f (z) = (sign (Z)+1)/2 (z # 0)
[0031]對于z = 0，我們直接令f (z) = 1，通過上式處理，便可生成與Fisher向量同維度的01向量，由此，每張樣本圖片Fisher向量形式的第一描述子被轉換成01向量形式的第三描述子，輸入圖片Fisher向量形式的第二描述子被轉換成01向量形式的第四描述子。
[0032]從統計學的角度來講，在一定程度上，分布相似的相同長度的一組數據應該具備類似的均值，因此，進一步地，作為本發明的另一實施例，還可以通過圖2所示方法，將Fisher向量轉換為維度更低的01向量:
[0033]在S201中，將所述Fisher向量等分成M份，所述M為大于I的整數。
[0034]在S202中，對每一份所述Fisher向量取均值。
[0035]在S203中，若所述均值大于或等于0，則在該均值所在位置置1，若所述均值小于0，則在該均值所在位置置0，得到每張所述樣本圖片的第五描述子和所述輸入圖片的第六描述子。
[0036]由此，每張樣本圖片Fisher向量形式的第一描述子被轉換成01向量形式的第五描述子，輸入圖片Fisher向量形式的第二描述子被轉換成01向量形式的第六描述子，且第六描述子的向量維度要低于第四描述子的向量維度。
[0037]需要說明的是，將Fisher向量轉換成同維度的01向量，以及將Fisher向量轉換成更低維度的01向量，這兩種轉換過程可以同時進行，也可以不分次序地先后進行。
[0038]對于生成的M維向量，可以將其分為幾個塊，每個塊以建立表的方式來維護，這樣在后續計算過程中，可以通過查表來減少計算工作量。
[0039]在S103中，分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。
[0040]在通過S102將Fisher向量進行轉換之后，基于轉換后的向量對樣本圖片進行初步篩選、過濾，減少樣本圖片的數量，再將剩余的樣本圖片與輸入圖片進行向量內積，從而得到檢索結果。
[0041]優選地，當Fisher向量分別被轉換為同維度的01向量和更低維度的01向量時，S103的執行過程如圖3所示:
[0042]在S301中，分別計算所述輸入圖片的第六描述子與每張所述樣本圖片的第五描述子的第一相似度，對所述第一相似度低的所述樣本圖片進行過濾。
[0043]首先，比對更低維度的01向量之間的相似度。對于數以十萬甚至百萬計的樣本圖片來說，運行低維度的內積運算速度比直接進行上萬維的向量的內積運算速度要快得多，優選地，所述M可以為64，以更好地在運算速度與過濾精度之間保持平衡。根據內積運算的結果，計算出第六描述子與不同樣本圖片的第五描述子之間的第一相似度，并將第一相似度低于預設閾值的樣本圖片進行過濾。
[0044]在S302中，分別計算所述輸入圖片的第四描述子與過濾后的每張所述樣本圖片的第三描述子的第二相似度，對所述第二相似度低的所述樣本圖片進行再次過濾。
[0045]在經過S301對樣本圖片進行過濾之后，對與Fisher向量同維度的01向量進行相似度計算，即，將輸入圖片的第四描述子與過濾后的每張樣本圖片的第三描述子進行相似度計算。具體地，可以對二者的01向量進行按位異或，統計運算結果中為I的位的個數，個數越多則認為兩幅圖片的相似度越高，將運算結果中為I的位的個數作為第二相似度，并將第二相似度低于預設閾值的樣本圖片進行再次過濾。
[0046]在S303中，分別對所述輸入圖片的第二描述子與再次過濾后的每張所述樣本圖片的第一描述子做向量內積，得到所述輸入圖片匹配檢索結果。
[0047]在經過S302對樣本圖片進行再次過濾之后，再用剩下的為數不多的樣本圖片直接與輸入圖片進行向量內積，并將計算結果最優的樣本圖片匹配為該輸入圖片的檢索結果O
[0048]在本實施例中，通過實驗證明，進行64位運算所花費的時間是最短的，進行與Fisher向量同維度的01向量的按位異或運算的時間其次，直接進行向量內積所花的運算時間最長。雖然采用S301和S302兩次的篩選過程會增加額外的排序運算，但是對比于只進行向量的內積運算，隨著樣本圖片數量的增長，排序運算所耗費的時間對最終運算時間的影響作用就大大降低，因此，總的說來，對于大規模的圖片檢索來說，本方案可以在一定程度上改善檢索效率，且實驗結果證明本方案會帶來檢索精度的略微提高。
[0049]本發明實施例將圖片的描述子由Fisher向量轉換為只包含元素“O”和元素“ I”的向量，以在進行向量內積運算之前對圖片進行初步篩選，減少了進行向量內積運算的樣本圖片數量，從而在大規模的圖片檢索系統中大大地提升了圖像檢索的運算速度，提高了檢索效率。
[0050]對應于上文實施例所述的圖像檢索的方法，圖4示出了本發明實施例提供的圖像檢索的裝置的結構框圖，為了便于說明，僅示出了與本實施例相關的部分。
[0051 ] 參照圖4，該裝置包括:
[0052]獲取單元41，獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子。
[0053]轉換單元42，將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式。
[0054]檢索單元43，分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。
[0055]可選地，所述轉換單元42具體用于:
[0056]將所述Fisher向量中大于或等于O的元素置I，并將所述Fisher向量中小于O的元素置O，得到每張所述樣本圖片的第三描述子和所述輸入圖片的第四描述子。
[0057]可選地，所述轉換單元42還用于:
[0058]將所述Fisher向量等分成M份，所述M為大于I的整數。
[0059]對每一份所述Fisher向量取均值。
[0060]若所述均值大于或等于0，則在該均值所在位置置1，若所述均值小于0，則在該均值所在位置置0，得到每張所述樣本圖片的第五描述子和所述輸入圖片的第六描述子。
[0061]可選地，所述M為64。
[0062]可選地，所述檢索單元43包括:
[0063]第一過濾子單元，分別計算所述輸入圖片的第六描述子與每張所述樣本圖片的第五描述子的第一相似度，對所述第一相似度低的所述樣本圖片進行過濾。
[0064]第二過濾子單元，分別計算所述輸入圖片的第四描述子與過濾后的每張所述樣本圖片的第三描述子的第二相似度，對所述第二相似度低的所述樣本圖片進行再次過濾。
[0065]第三過濾子單元，分別對所述輸入圖片的第二描述子與再次過濾后的每張所述樣本圖片的第一描述子做向量內積，得到所述輸入圖片匹配檢索結果。
[0066]以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種圖像檢索的方法，其特征在于，包括: 獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子； 將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式； 分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。2.如權利要求1所述的方法，其特征在于，所述將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式包括: 將所述Fisher向量中大于或等于O的元素置I，并將所述Fisher向量中小于O的元素置O，得到每張所述樣本圖片的第三描述子和所述輸入圖片的第四描述子。3.如權利要求2所述的方法，其特征在于，所述將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式還包括: 將所述Fisher向量等分成M份，所述M為大于I的整數； 對每一份所述Fisher向量取均值； 若所述均值大于或等于O，則在該均值所在位置置1，若所述均值小于O，則在該均值所在位置置O，得到每張所述樣本圖片的第五描述子和所述輸入圖片的第六描述子。4.如權利要求3所述的方法，其特征在于，所述M為64。5.如權利要求3或4所述的方法，其特征在于，所述分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果包括: 分別計算所述輸入圖片的第六描述子與每張所述樣本圖片的第五描述子的第一相似度，對所述第一相似度低的所述樣本圖片進行過濾； 分別計算所述輸入圖片的第四描述子與過濾后的每張所述樣本圖片的第三描述子的第二相似度，對所述第二相似度低的所述樣本圖片進行再次過濾； 分別對所述輸入圖片的第二描述子與再次過濾后的每張所述樣本圖片的第一描述子做向量內積，得到所述輸入圖片匹配檢索結果。6.一種圖像檢索的裝置，其特征在于，包括: 獲取單元，用于獲取每張樣本圖片的第一描述子和輸入圖片的第二描述子； 轉換單元，用于將所述第一描述子和所述第二描述子分別由Fisher向量形式轉換成只包含“O”和“I”的向量形式； 檢索單元，用于分別計算轉換后的所述第二描述子與每個轉換后的所述第一描述子的相似度，根據計算結果對所述樣本圖片進行篩選，得到所述輸入圖片的檢索結果。7.如權利要求6所述的裝置，其特征在于，所述轉換單元具體用于: 將所述Fisher向量中大于或等于O的元素置I，并將所述Fisher向量中小于O的元素置O，得到每張所述樣本圖片的第三描述子和所述輸入圖片的第四描述子。8.如權利要求7所述的裝置，其特征在于，所述轉換單元還用于: 將所述Fisher向量等分成M份，所述M為大于I的整數； 對每一份所述Fisher向量取均值； 若所述均值大于或等于O，則在該均值所在位置置1，若所述均值小于O，則在該均值所在位置置O，得到每張所述樣本圖片的第五描述子和所述輸入圖片的第六描述子。9.如權利要求8所述的裝置，其特征在于，所述M為64。10.如權利要求8或9所述的裝置，其特征在于，所述檢索單元包括: 第一過濾子單元，用于分別計算所述輸入圖片的第六描述子與每張所述樣本圖片的第五描述子的第一相似度，對所述第一相似度低的所述樣本圖片進行過濾； 第二過濾子單元，用于分別計算所述輸入圖片的第四描述子與過濾后的每張所述樣本圖片的第三描述子的第二相似度，對所述第二相似度低的所述樣本圖片進行再次過濾； 第三過濾子單元，用于分別對所述輸入圖片的第二描述子與再次過濾后的每張所述樣本圖片的第一描述子做向量內積，得到所述輸入圖片匹配檢索結果。
【文檔編號】G06F17/30GK105989128SQ201510083238
【公開日】2016年10月5日
【申請日】2015年2月13日
【發明人】王仕強, 馮良炳, 趙永剛
【申請人】深圳先進技術研究院