一種車輛檢索中的重排序方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種車輛檢索中的重排序方法及裝置,所述方法包括:獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量,以及獲取目標(biāo)圖像庫(kù)中每一圖像基于模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向量;獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列,根據(jù)第一統(tǒng)計(jì)分布特征向量和第二統(tǒng)計(jì)分布特征向量、和初始檢索結(jié)果序列確定初始檢索結(jié)果序列中每一圖像與待查詢圖像的第三相似度;將初始檢索結(jié)果序列中的所有圖像按照第三相似度的大小重新排序,獲得重排序的目標(biāo)檢索結(jié)果序列。上述方法能夠?qū)崿F(xiàn)在車輛檢索中的重排序,以便提高車輛檢索的準(zhǔn)確率。
【專利說(shuō)明】
一種車輛檢索中的重排序方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù),具體涉及一種車輛檢索中的重排序方法及裝置。
【背景技術(shù)】
[0002] 交通監(jiān)控圖像和視頻是公安業(yè)務(wù)的重要數(shù)據(jù)基礎(chǔ),在社會(huì)治安維穩(wěn)、打擊違法犯 罪等方面有著至關(guān)重要的作用。為此,如何從大量的監(jiān)控圖像和視頻中檢索出目標(biāo)車輛成 為研究熱點(diǎn)。
[0003] 現(xiàn)有技術(shù)中,重排序是圖像檢索技術(shù)中常用的提升檢索性能的技術(shù),例如,可通過(guò) 圖像對(duì)之間的視覺特征匹配關(guān)系對(duì)初始檢索結(jié)果進(jìn)行重排序。
[0004] 然而,重排效果極大依賴于所使用的視覺特征是否能夠足夠有效地表達(dá)圖像。在 相似車輛搜索中,由于很多車輛往往外形很相似,提取出的視覺特征也會(huì)比較相似,無(wú)法區(qū) 分不同車型,從而導(dǎo)致這種直接使用圖像對(duì)之間的匹配關(guān)系的重排序方法不能較好的檢索 出相似車輛。
【發(fā)明內(nèi)容】
[0005] 針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明提供了一種車輛檢索中的重排序方法及裝置,能 夠?qū)崿F(xiàn)在車輛檢索中的重排序,以便提高車輛檢索的準(zhǔn)確率。
[0006] 第一方面,本發(fā)明提供一種車輛檢索中的重排序方法,包括:
[0007] 獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向 量,以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征 向量;
[0008] 獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列,所述初始檢索結(jié)果序 列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的;
[0009] 根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中每一圖像的第二統(tǒng) 計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相似 度;
[0010] 根據(jù)所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像的第一相似度和第二 相似度,確定所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像的第三相似度;
[0011] 將所述初始檢索結(jié)果序列中的所有圖像按照所述第三相似度的大小重新排序,獲 得重排序的目標(biāo)檢索結(jié)果序列。
[0012] 可選地,所述獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì) 分布特征向量之前,所述方法還包括:
[0013] 對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括部分樣例圖像的模板庫(kù),所述模板 庫(kù)中的樣例圖像均不重復(fù)。
[0014] 可選地,所述對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括樣例圖像的模板庫(kù),包 括:
[0015] 采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選,獲得篩選后的T 張樣例圖像;
[0016] 其中,Ν、Τ均為大于1的自然數(shù),Ν大于Τ。
[0017] 可選地,獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布 特征向量,包括:
[0018] 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè)二元 組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度;
[0019] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從Q個(gè)二元組中篩選出Q'個(gè)二元組,Q和Q'均為 大于1的自然數(shù);
[0020] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量;
[0021] 其中,所述第一向量為#:={兩,涔,一,約^,各維度初始化為0;
[0022] 第二向量為f Κ …,U,各維度初始化為〇 ;
[0023] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0024] 可選地,獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì) 分布特征向量,包括:
[0025] 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,獲 得每一圖像的Q個(gè)二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似 度;
[0026] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組,R為大于1的自然數(shù);
[0027] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量;
[0028] 其中,所述第一向量為P =丨A. A,…./\丨,各維度初始化為0 ;
[0029] 第二向量為f = ,各維度初始化為〇 ;
[0030] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0031] 可選地,所述根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布特征向量,包括:
[0032] 將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有Q'個(gè)二元組的第二向量 中對(duì)應(yīng)維度值的開方,獲得第一統(tǒng)計(jì)分布特征向量;
[0033] 或者,
[0034] 根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量,包括:
[0035] 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有R個(gè)二元組的第二向量中 對(duì)應(yīng)維度值的開方,獲得第二統(tǒng)計(jì)分布特征向量。
[0036] 第二方面,本發(fā)明提供一種車輛檢索中的重排序裝置,包括:
[0037] 統(tǒng)計(jì)分布特征向量獲取單元,用于獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有 樣例圖像的第一統(tǒng)計(jì)分布特征向量,以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所 有樣例圖像的第二統(tǒng)計(jì)分布特征向量;
[0038] 初始檢索結(jié)果序列獲取單元,用于獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢 索結(jié)果序列,所述初始檢索結(jié)果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像 的第一相似度的大小排序的;
[0039] 第二相似度確定單元,用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果 序列中的每一圖像的第二統(tǒng)計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序 列中每一圖像的第二相似度;
[0040] 第三相似度確定單元,用于根據(jù)所述初始檢索結(jié)果序列中每一圖像與所述待查詢 圖像的第一相似度和第二相似度,確定所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖 像的第三相似度;
[0041] 目標(biāo)檢索結(jié)果序列獲取單元,用于將所述初始檢索結(jié)果序列中的所有圖像按照所 述第三相似度的大小重新排序,獲取重排序的目標(biāo)檢索結(jié)果序列。
[0042] 可選地,所述裝置還包括:
[0043] 模板庫(kù)建立單元,用于對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括部分樣例圖 像的模板庫(kù),所述模板庫(kù)中的樣例圖像均不重復(fù)。
[0044] 可選地,統(tǒng)計(jì)分布特征向量獲取單元,具體用于
[0045] 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè)二元 組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度;
[0046] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從Q個(gè)二元組中篩選出Q'個(gè)二元組,Q和Q'均為 大于1的自然數(shù);
[0047] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量;
[0048] 以及,
[0049] 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,獲 得每一圖像的Q個(gè)二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似 度;
[0050] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組,R為大于1的自然數(shù);
[0051] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量;
[0052] 其中,所述第一向量為 > =彳A,A,…,,各維度初始化為〇 ;
[0053] 第二向量為f =仏七···,^,各維度初始化為〇 ;
[0054] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0055] 第三方面,本發(fā)明還提供一種車輛檢索方法,包括:
[0056] 采用上述任一所述的車輛檢索中的重排序方法獲取待查詢圖像的目標(biāo)檢索結(jié)果 序列;
[0057] 根據(jù)所述目標(biāo)檢索結(jié)果序列,確定與所述待查詢圖像相似的目標(biāo)圖像。
[0058] 由上述技術(shù)方案可知,本發(fā)明的車輛檢索中的重排序方法及裝置,利用模板庫(kù)的 統(tǒng)計(jì)分布特性,將待匹配的兩張圖像分別映射到該模板庫(kù),生成統(tǒng)計(jì)分布特征,利用初始檢 索結(jié)果圖像與查詢圖像間的統(tǒng)計(jì)分布特征相似度對(duì)初始檢索結(jié)果做重排序。能夠?qū)崿F(xiàn)在車 輛檢索中的重排序,提高車輛檢索的準(zhǔn)確率。
【附圖說(shuō)明】
[0059] 圖1為本發(fā)明一實(shí)施例提供的車輛檢索中的重排序方法的流程示意圖;
[0060] 圖2為本發(fā)明一實(shí)施例提供的車輛檢索中的重排序方法的流程示意圖;
[0061] 圖3為本發(fā)明一實(shí)施例提供的車輛檢索中的重排序裝置的流程示意圖。
【具體實(shí)施方式】
[0062] 下面結(jié)合附圖,對(duì)發(fā)明的【具體實(shí)施方式】作進(jìn)一步描述。以下實(shí)施例僅用于更加清 楚地說(shuō)明本發(fā)明的技術(shù)方案,而不能以此來(lái)限制本發(fā)明的保護(hù)范圍。本發(fā)明實(shí)施例中所使 用的"第一"、"第二"僅為更清楚的說(shuō)明本申請(qǐng)的內(nèi)容,不具有特定含義,也不限定任何內(nèi) 容。
[0063] 本發(fā)明實(shí)施例提出一種利用基于第三方圖像集合生成的統(tǒng)計(jì)分布特征的重排序 方法,將一對(duì)一的匹配模式轉(zhuǎn)換為一對(duì)多的匹配,可以得到更準(zhǔn)確、穩(wěn)定的匹配關(guān)系,從而 獲得更好的重排序效果。
[0064] 圖1示出了本發(fā)明一實(shí)施例提供的車輛檢索中的重排序方法的流程示意圖,如圖 1所示,本實(shí)施例的車輛檢索中的重排序方法如下所述。
[0065] 101、獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特 征向量,以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布 特征向量。
[0066] 在本實(shí)施例中,模板庫(kù)是預(yù)先建立的,并包括有多個(gè)類別即車型種類類別的樣例 圖像,且模板庫(kù)中的樣例圖像均不重復(fù)。
[0067] 102、獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列,所述初始檢索結(jié) 果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的。
[0068] 舉例來(lái)說(shuō),可預(yù)先獲取所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似 度;選取大于預(yù)設(shè)第一閾值的第一相似度組成第一相似度集合,將所述第一相似度集合中 所有第一相似度對(duì)應(yīng)的圖像進(jìn)行排序,獲得初始檢索結(jié)果序列。
[0069] 103、根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中每一圖像的第 二統(tǒng)計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相 似度。
[0070] 104、根據(jù)所述初始檢索結(jié)果序列中的每一圖像與所述待查詢圖像的第一相似度 和第二相似度,確定所述初始檢索結(jié)果序列中的每一圖像與所述待查詢圖像的第三相似 度。
[0071] 105、將所述初始檢索結(jié)果序列中的所有圖像按照所述第三相似度的大小重新排 序,獲得重排序的目標(biāo)檢索結(jié)果序列。
[0072] 本實(shí)施例的車輛檢索中的重排序方法,利用模板庫(kù)的統(tǒng)計(jì)分布特性,將待匹配的 兩張圖像分別映射到該模板庫(kù),生成統(tǒng)計(jì)分布特征,利用初始檢索結(jié)果圖像與查詢圖像間 的統(tǒng)計(jì)分布特征相似度對(duì)初始檢索結(jié)果做重排序,能夠?qū)崿F(xiàn)在車輛檢索中的重排序,提高 車輛檢索的準(zhǔn)確率。
[0073] 圖2示出了本發(fā)明一實(shí)施例提供的車輛檢索中的重排序方法的流程示意圖,如圖 2所示,本實(shí)施例的車輛檢索中的重排序方法如下所述。
[0074] 201、對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括部分或全部樣例圖像的模板 庫(kù),所述模板庫(kù)中的樣例圖像均不重復(fù)。
[0075] 舉例來(lái)說(shuō),可采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選,獲 得篩選后的T張樣例圖像;其中,N、T均為大于1的自然數(shù),N大于T。
[0076] 例如,對(duì)預(yù)先收集N張樣例圖像的第一圖像集合中的所有樣例圖像進(jìn)行圖像檢索 篩選,獲得符合某一設(shè)定閾值的Μ對(duì)圖像匹配對(duì),每一圖像匹配對(duì)包括第一圖像集合中的 兩個(gè)樣例圖像;
[0077] 進(jìn)一步地,還可采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)所述Μ對(duì)圖像匹配對(duì)進(jìn)行優(yōu)化篩選, 獲得Ρ對(duì)圖像匹配對(duì),將所述Ρ對(duì)圖像匹配對(duì)對(duì)應(yīng)的樣例圖像組成模板庫(kù);
[0078] 其中,Μ大于等于Ρ,其中,Ν、Μ、Ρ均為自然數(shù)。
[0079] 本實(shí)施例中,預(yù)設(shè)圖像匹配系統(tǒng)可為FPR(False Positive Rate)低于某一設(shè)定閾 值的圖像匹配系統(tǒng)。
[0080] 202、獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè) 二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度。
[0081] 舉例來(lái)說(shuō),每一二元組可為包括(圖像ID,與該圖像對(duì)應(yīng)視覺相似度)的二元組。
[0082] 對(duì)待查詢圖像與模板庫(kù)中的每張樣例圖像的視覺相似度即為視覺特征相似度,該 處的視覺特征可使用Fisher向量、SIFT特征、SURF特征等現(xiàn)有特征提取技術(shù),不做限定,本 實(shí)施例使用Fisher向量作為視覺特征描述子,得到Q個(gè)(圖像ID,視覺相似度)二元組;
[0083] 203、根據(jù)預(yù)設(shè)的視覺相似度的閾值,從Q個(gè)二元組中篩選出Q'個(gè)二元組;采用構(gòu) 建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布特征向 量;
[0084] 本實(shí)施例中,Q和Q'均為大于1的自然數(shù),其中,所述第一向量可為 > =丨A,…丨.,各維度初始化為〇 ;
[0085] 第二向量可為f ,各維度初始化為0 ;
[0086] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配??衫斫獾氖牵0鍘?kù)中的類別是用聚類算法自動(dòng)聚類生成的,與車型種 類不嚴(yán)格對(duì)應(yīng)。
[0087] 另外,需要說(shuō)明的是,預(yù)設(shè)的視覺相似度的閾值可為具體經(jīng)驗(yàn)值,但考慮到不同視 覺模型下(如,來(lái)自不同交通治安卡口)的查詢圖像和目標(biāo)圖像庫(kù)中圖像的視覺相似度可 能不在相當(dāng)?shù)乃?,該處的閾值?yīng)根據(jù)實(shí)際場(chǎng)景自適應(yīng)調(diào)節(jié),本實(shí)施例的視覺相似度的閾 值設(shè)置方式為:記Q個(gè)(圖像ID,視覺相似度)二元組中視覺相似度最大值為MAX,那么視 覺相似度的閾值=MX*0. 6,其中,0. 6為經(jīng)驗(yàn)值,可根據(jù)實(shí)際目標(biāo)圖像庫(kù)的信息進(jìn)行調(diào)整。
[0088] 舉例來(lái)說(shuō),將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有Q'個(gè)二元組 的第二向量中對(duì)應(yīng)維度值的開方,獲得第一統(tǒng)計(jì)分布特征向量。
[0089] 例如,可將上述第一向量F每個(gè)維度除以第二向量f中的相應(yīng)維度值: ' = P:丨士:,生成第一統(tǒng)計(jì)分布特征向量J.:。
[0090] 204、獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺相似 度,獲得目標(biāo)圖像庫(kù)中每一圖像的Q個(gè)二元組。
[0091 ] 本實(shí)施例中,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度;
[0092] 205、根據(jù)預(yù)設(shè)的視覺相似度的閾值,從目標(biāo)圖像庫(kù)中每一圖像對(duì)應(yīng)的所有二元組 中篩選出R個(gè)二元組,采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié) 果生成該圖像的第二統(tǒng)計(jì)分布特征向量;
[0093] 本實(shí)施例中,Q、R均為大于1的自然數(shù);其中,所述第一向量為丨Α,/":,···,/\?丨_ s 各維度初始化為〇 ;
[0094] 第二向量為『=認(rèn),b…A〖,各維度初始化為0 ;
[0095] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別匹配。可理解的是,模板庫(kù)中的類別是用聚類算法自動(dòng)聚類生成的,與車型種類不 嚴(yán)格對(duì)應(yīng)。
[0096] 舉例來(lái)說(shuō),根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量,包括:
[0097] 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有R個(gè)二元組的第二向量中 對(duì)應(yīng)維度值的開方,獲得第二統(tǒng)計(jì)分布特征向量。
[0098] 206、獲取目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列,所述初始檢索結(jié)果序 列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的。
[0099] 在本實(shí)施例中,重排序的操作對(duì)象是基于通過(guò)某種檢索方式獲取的初始檢索結(jié)果 序列。
[0100] 假設(shè)通過(guò)某種檢索方式,獲取查詢圖像仏的長(zhǎng)度為m的初始檢索結(jié)果序列R 1 = {rpiv ,一般滿足siml (Q!,rpsiml (Q!,rj+1),siml表示兩張圖像的第一相似度,即 札按照第一相似度從高到低排列。
[0101] 207、根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中每一圖像的第 二統(tǒng)計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相 似度。
[0102] 也就是說(shuō),分別計(jì)算待查詢圖像仏與r r "的統(tǒng)計(jì)分布特征相似度,即第二相似 度,即計(jì)算sim2(&,反),sim2可以是余弦距離,也可以先進(jìn)行L2歸一化,然后計(jì)算歐 式距離,當(dāng)然也可以使用其他距離度量方式,不做具體限定,本實(shí)施例使用余弦距離作為統(tǒng) 計(jì)分布特征相似性度量方式。
[0103] 208、根據(jù)所述初始檢索結(jié)果序列中的每一圖像與所述待查詢圖像的第一相似度 和第二相似度,確定所述初始檢索結(jié)果序列中的每一圖像與所述待查詢圖像的第三相似 度。
[0104] 例如,將第一相似度與第二相似度按照某種方式融合,得到第三相似度,融合方式 可以是加權(quán)或相乘等方式,加權(quán)中也可以將第一相似度權(quán)重設(shè)為〇,即,直接取第二相似度 作為第三相似度,不做嚴(yán)格限定。上述的第一相似度可為視覺特征相似度,第二相似度可為 統(tǒng)計(jì)分布特征相似度。
[0105] 本實(shí)施例的融合方式為:先將初始檢索結(jié)果序列&的第一相似度歸一化,歸一化 方式為:將初始檢索結(jié)果序列Ri中的每一項(xiàng)的第一相似度除以第一相似度最大值,由于R i 按照第一相似度從高到低排列,那么最大值一般為首項(xiàng),即初始檢索結(jié)果序列&中圖像ri 與待查詢圖像的第一相似度siml (Qd Γι);
[0106] 然后將歸一化后的第一相似度與第二相似度相加,得到第三相似度,即:
[0107]
[0108] 209、將所述初始檢索結(jié)果序列中的所有圖像按照所述第三相似度的大小重新排 序,獲得重排序的目標(biāo)檢索結(jié)果序列。
[0109] 將初始檢索結(jié)果序列&按照第三相似度sim3從高到低進(jìn)行重排序,得到新的目 標(biāo)檢索結(jié)果序列。
[0110] 本實(shí)施例的方法,通過(guò)引入第三方圖像集合,并使用聚類的方式訓(xùn)練模板庫(kù),利用 查詢圖像和目標(biāo)圖像庫(kù)圖像在該模板庫(kù)上的統(tǒng)計(jì)分布特性對(duì)檢索結(jié)果進(jìn)行重排序,彌補(bǔ)了 傳統(tǒng)的圖像一對(duì)一匹配不穩(wěn)定、區(qū)分能力不夠等缺陷,能夠獲得更好的重排效果。
[0111] 在一個(gè)具體的例子中,對(duì)上述步驟201進(jìn)行詳細(xì)說(shuō)明如下:
[0112] 2011、根據(jù)樣例篩選規(guī)則,從第一樣例圖像集合中選擇可靠車輛樣例圖像,構(gòu)成第 二樣例圖像集合。
[0113] 所述第一樣例圖像集合為車輛圖像樣例組成的樣例圖像集合,一般應(yīng)盡可能但不 絕對(duì)要求包含所有車型的樣例,假設(shè)第一樣例圖像集合包含樣例圖像的個(gè)數(shù)為N,N-般 應(yīng)大于5000,本實(shí)施例中使用從XX城鎮(zhèn)交通治安卡口采集的樣例圖像中隨機(jī)選擇的N = 30000張樣例圖像構(gòu)成第一樣例圖像集合;
[0114] 根據(jù)樣例篩選規(guī)則,從第一樣例圖像集合的N個(gè)樣例圖像中選擇出T個(gè)可靠的樣 例圖像,構(gòu)成第二樣例圖像集合。需要說(shuō)明的是,T的具體值依賴于樣例篩選規(guī)則中的參數(shù) 設(shè)置,以及第一樣例圖像集合中的N張樣例圖像的實(shí)際分布情況,不同情況下會(huì)得到不同 的T值。本實(shí)施例中,從N = 30000張樣例圖像中篩選出了 T = 18347張樣例圖像構(gòu)成第 二樣例圖像集合。
[0115] 具體地:2011a、對(duì)第一樣例圖像集合兩兩構(gòu)建圖像匹配對(duì),得到第一圖像對(duì)集合。
[0116] 第一樣例圖像集合包含N張樣例圖像,對(duì)其兩兩構(gòu)建圖像匹配對(duì),目標(biāo)是從這些 樣例圖像對(duì)中選出強(qiáng)匹配對(duì),但并不嚴(yán)格要求能夠選出所有的強(qiáng)匹配對(duì),理論上可以產(chǎn)生 C(N,2) = Ν(Ν-1)/2對(duì)圖像對(duì),本實(shí)施例中N = 30000,理論產(chǎn)生圖像匹配對(duì)數(shù)量為4億多 對(duì),而其中多數(shù)是不匹配對(duì),如果對(duì)所有4億多對(duì)圖像匹配對(duì)一一匹配,效率過(guò)低。
[0117] 因此,本實(shí)施例首先將N張樣例圖像中的每一張樣例圖像作為查詢圖像基于這N 張樣例圖像構(gòu)成的第一圖像集合進(jìn)行檢索,每張查詢圖像得到一個(gè)按相似度從高到低排序 的檢索結(jié)果序列R2= {rpiv ???dj,其中首位結(jié)果與查詢圖像的相似度sinKQ;;,;^)最 大,當(dāng)該最大值小于第三閾值時(shí),認(rèn)為這一組檢索結(jié)果序列不存在可能與相應(yīng)查詢圖像構(gòu) 成強(qiáng)匹配對(duì)的樣例圖像,直接跳過(guò)這一條查詢,否則,即,當(dāng)sim(Q2, Γι)大于第三閾值時(shí),從 檢索結(jié)果序列R2中選出相似度大于第四閾值的結(jié)果與查詢圖像構(gòu)成圖像匹配對(duì)。本實(shí)施 例中,使用Fisher向量作為描述子,第三閾值設(shè)為25. 0,第四閾值設(shè)為sim(Q2, Γι) *0. 8。需 要說(shuō)明的是,不同的視覺特征描述子計(jì)算得到的相似度得分量級(jí)不同,應(yīng)根據(jù)實(shí)際情況設(shè) 置第三閾值。
[0118] 按照上述方法構(gòu)建的圖像匹配對(duì)都存在相對(duì)較強(qiáng)的匹配關(guān)系,本實(shí)施例中構(gòu)建了 約42. 7萬(wàn)對(duì)圖像對(duì),遠(yuǎn)遠(yuǎn)少于4億的理論值,大大減少了后續(xù)匹配的工作量。
[0119] 本實(shí)施例中的第三閾值和第四閾值可對(duì)應(yīng)前述步驟201中選取Μ對(duì)圖像匹配對(duì)過(guò) 程中設(shè)定的閾值。
[0120] 可選地,本實(shí)施例中還可執(zhí)行下述的步驟2011b。
[0121] 2011b、采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)第一圖像對(duì)集合中的每組圖像匹配對(duì)做匹配, 選出能夠匹配上的圖像匹配對(duì)組成第二圖像對(duì)集合。
[0122] 本實(shí)施例預(yù)設(shè)圖像匹配系統(tǒng)可為FPR(False Positive Rate)低于某一設(shè)定閾值 如0. 1 %的圖像匹配系統(tǒng)對(duì)第一圖像對(duì)集合中的樣例圖像對(duì)逐對(duì)進(jìn)行匹配,所有能夠識(shí)別 為匹配對(duì)的樣例圖像對(duì)組成第二圖像對(duì)集合。本實(shí)施例從42. 7萬(wàn)對(duì)圖像匹配對(duì)中選出了 42. 5萬(wàn)對(duì)圖像匹配對(duì),構(gòu)成第二圖像對(duì)集合。
[0123] 2012、使用第二圖像對(duì)集合中的圖像組成第二圖像集合。
[0124] 將第二圖像對(duì)集合所包含圖像匹配對(duì)對(duì)應(yīng)的樣例圖像組成第二圖像集合,本實(shí)施 例包含42. 5萬(wàn)對(duì)圖像對(duì)的第二圖像對(duì)集合包含18347張不重復(fù)圖像,即,本實(shí)施例的第二 圖像集合由18347張不重復(fù)圖像構(gòu)成。
[0125] 本實(shí)施例的模板庫(kù)樣例篩選方法,通過(guò)控制圖像匹配系統(tǒng)的FPR在較低水平,選 擇出"可靠"的樣例圖像,這些樣例圖像能夠與部分其他樣例產(chǎn)生較強(qiáng)的匹配關(guān)系,使用這 些"可靠"的樣例圖像進(jìn)行聚類,能夠較好地保證類的高內(nèi)聚低耦合要求,從而更好地支撐 后續(xù)的統(tǒng)計(jì)分布特性表達(dá)。
[0126] 2013、使用聚類算法訓(xùn)練第二圖像集合,生成模板庫(kù)。
[0127] 使用聚類算法對(duì)第二圖像集合按照視覺特征相似度進(jìn)行聚類,得到K個(gè)子集,構(gòu) 成所述模板庫(kù)。
[0128] 聚類算法可以是AP聚類算法、譜聚類算法、K-Means聚類算法等現(xiàn)有技術(shù)。本實(shí) 施例中,首先對(duì)包含T張圖像的第二圖像集合構(gòu)建T*T的相似度矩陣,然后使用AP聚類算 法進(jìn)行聚類,算法原理在此不做詳述。
[0129] 在本實(shí)施例中,獲取相似度矩陣之前,需要分別提取每一張樣例圖像的視覺特征, 通常,可米用Fisher向量、尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform, 簡(jiǎn)稱SIFT),快速魯棒特征(Speeded-up Robust Features,簡(jiǎn)稱SURF),特征梯度直方圖 (Histograms of Oriented Gradients,簡(jiǎn)稱HOG)等方式提取每一張圖像的視覺特征。本 實(shí)施例中,提取任一圖像的視覺特征可為業(yè)內(nèi)公知技術(shù),本實(shí)施例不對(duì)其進(jìn)行詳述。
[0130] 在提取第二圖像集合中每一樣例圖像的視覺特征之后,可采用漢明距離、歐式距 離、馬式距離等距離度量方式獲取兩兩之間的視覺特征相似度,構(gòu)建T*T的相似度矩陣。
[0131] 另外需要說(shuō)明的是,使用ΑΡ聚類算法聚出的類別個(gè)數(shù)一般較多,而模板庫(kù)的類 別個(gè)數(shù)一般不應(yīng)偏離實(shí)際車型種類數(shù)量太遠(yuǎn),本實(shí)施例使用AP聚類算法第一次聚類得到 3392個(gè)類,而實(shí)際車型種類大約在1000種,因此,本實(shí)施例對(duì)第一次聚類得到的聚類中心 進(jìn)行二次聚類,最終得到938個(gè)類。本實(shí)施例中,這18347張圖像訓(xùn)練出的938個(gè)子集構(gòu)成 所述模板庫(kù)。
[0132] 應(yīng)該說(shuō)明的是,前述步驟201中建立的模板庫(kù)可以在任意檢索中使用,后續(xù)對(duì)待 查詢圖像可無(wú)需建立模板庫(kù),直接使用前期建立的模板庫(kù)即可,即,只需要建立一次模板 庫(kù),每次檢索時(shí)可以直接使用,無(wú)需每檢索一次建立一次模板庫(kù)。
[0133] 進(jìn)一步地,前述步驟203中和205中的第一向量另=八丨和第二向量 /1=丨/ΡΛ·,···,4]·的長(zhǎng)度均為K,K值為模板庫(kù)子集個(gè)數(shù),本實(shí)施例中,K = 938,因此生成的統(tǒng) 計(jì)分布特征向量為938維。
[0134] 統(tǒng)計(jì)方式為:對(duì)Q'或R個(gè)二元組中的每一個(gè),如果"圖像ID"所對(duì)應(yīng)的圖像在模 板庫(kù)中屬于第i類,i e N+,i e [1,K],那么將"視覺相似度"累加到Pl,同時(shí)^加1。
[0135] 進(jìn)一步地,可將上述第一向量j每個(gè)維度除以第二向量歹中的相應(yīng)維度值的開 方:_& == ,生成所述統(tǒng)計(jì)分布特征向量5。
[0136] 待查詢圖像和目標(biāo)圖像庫(kù)中每張圖像均按上述方式生成相應(yīng)的Κ維統(tǒng)計(jì)分布特 征向量I (如上步驟203中的第一統(tǒng)計(jì)分布特征向量和步驟205中的第二統(tǒng)計(jì)分布特征向 量)。
[0137] 由于上述統(tǒng)計(jì)過(guò)程之前用視覺相似度的閾值進(jìn)行了選擇,參與統(tǒng)計(jì)的(圖像ID, 視覺相似度)二元組數(shù)量一般很少,本實(shí)施例中,平均能夠保留約不到20個(gè)二元組,因此, 生成的Κ維統(tǒng)計(jì)分布特征向量SG是稀疏的,在后續(xù)重排序步驟中計(jì)算量很小,從而保證了 時(shí)間效率。
[0138] 上述實(shí)施例中的方法,能夠提升相似車輛檢索性能。
[0139] 特別地,通過(guò)多次試驗(yàn)證明,如構(gòu)建一個(gè)包含4188張圖像的目標(biāo)數(shù)據(jù)庫(kù),對(duì)348張 查詢圖像進(jìn)行檢索,查詢圖像與目標(biāo)數(shù)據(jù)庫(kù)圖像來(lái)自同一城市。使用CDVS特征和檢索框 架獲得按照第一相似度排序的初始檢索結(jié)果序列,平均準(zhǔn)確率(Mean Average Precision, MAP)為〇. 78,使用上述方法做重排序后提升到0. 80。
[0140] 另外,第二試驗(yàn)中構(gòu)建與上述試驗(yàn)來(lái)自不同城市的150張查詢圖像,基于上述試 驗(yàn)的目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行檢索,同樣使用CDVS特征和檢索框架獲得按照第一相似度排序的初 始檢索結(jié)果序列,平均準(zhǔn)確率為〇. 42,使用本發(fā)明所述方法做重排序后提升到0. 53。
[0141] 從上述試驗(yàn)結(jié)果可知,本發(fā)明實(shí)施例的重排序方法對(duì)待查詢圖像與目標(biāo)圖像庫(kù)中 圖像同場(chǎng)景(如同一城市或同一卡口)和不同場(chǎng)景(如不同城市或)的情況下均能獲得提 升效果,在查詢圖像與目標(biāo)數(shù)據(jù)庫(kù)圖像來(lái)自不同場(chǎng)景的情況下提升尤為明顯。
[0142] 本實(shí)施例的方法與現(xiàn)有技術(shù)相比,不同于圖像對(duì)之間一對(duì)一的匹配,本實(shí)施例使 用聚類算法訓(xùn)練一個(gè)第三方的樣例圖像集合,這里稱之為"模板庫(kù)",利用模板庫(kù)的統(tǒng)計(jì)分 布特性,將待匹配的兩張圖像分別映射到該模板庫(kù),生成統(tǒng)計(jì)分布特征,利用初始檢索結(jié)果 圖像與查詢圖像間的統(tǒng)計(jì)分布特征相似度對(duì)初始檢索結(jié)果做重排序。
[0143] 另外,本發(fā)明還提供一種車輛檢索方法,該車輛檢索方法包括:前述任意實(shí)施例描 述的車輛檢索中的重排序方法獲取待查詢圖像的目標(biāo)檢索結(jié)果序列;進(jìn)而根據(jù)所述目標(biāo)檢 索結(jié)果序列,確定與所述待查詢圖像相似的目標(biāo)圖像。
[0144] 采用車輛檢索方法可以從目標(biāo)圖像庫(kù)中快速且準(zhǔn)確的檢索出目標(biāo)車輛。
[0145] 圖3示出了本發(fā)明一實(shí)施例提供的車輛檢索的重排序裝置,如圖3所示,本實(shí)施例 的車輛檢索的重排序裝置包括:統(tǒng)計(jì)分布特征向量獲取單元31、初始檢索結(jié)果序列獲取單 元32、第二相似度確定單元33、第三相似度確定單元34、目標(biāo)檢索結(jié)果序列獲取單元35 ;
[0146] 其中,統(tǒng)計(jì)分布特征向量獲取單元31用于獲取待查詢圖像基于預(yù)先建立的模板 庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量,以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模 板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向量;
[0147] 初始檢索結(jié)果序列獲取單元32用于獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始 檢索結(jié)果序列,所述初始檢索結(jié)果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖 像的第一相似度的大小排序的;
[0148] 第二相似度確定單元33用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié) 果序列中的每一圖像的第二統(tǒng)計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果 序列中每一圖像的第二相似度;
[0149] 第三相似度確定單元34用于根據(jù)所述初始檢索結(jié)果序列中每一圖像與所述待查 詢圖像的第一相似度和第二相似度,確定所述初始檢索結(jié)果序列中每一圖像與所述待查詢 圖像的第三相似度;
[0150] 目標(biāo)檢索結(jié)果序列獲取單元35用于將所述初始檢索結(jié)果序列中的所有圖像按照 所述第三相似度的大小重新排序,獲取重排序的目標(biāo)檢索結(jié)果序列。
[0151] 在一種具體的例子中,上述的車輛檢索中的重排序裝置還可包括圖中未示出的模 板庫(kù)建立單元30,該模板庫(kù)建立單元30用于采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣 例圖像進(jìn)行篩選,獲得篩選后的T張樣例圖像;進(jìn)而對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建 立包括部分樣例圖像的模板庫(kù),所述模板庫(kù)中的樣例圖像均不重復(fù),N、T均為大于1的自然 數(shù),N大于T。
[0152] 應(yīng)說(shuō)明的是,本實(shí)施例中的模板庫(kù)建立單元30連接統(tǒng)計(jì)分布特征向量獲取單元 31〇
[0153] 可選地,統(tǒng)計(jì)分布特征向量獲取單元31具體用于,獲取所述待查詢圖像與所述模 板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè)二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該 樣例圖像對(duì)應(yīng)的視覺相似度;
[0154] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從Q個(gè)二元組中篩選出Q'個(gè)二元組,Q和Q'均為 大于1的自然數(shù);
[0155] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量;
[0156] 其中,所述第一向量為…,/\!,各維度初始化為0 ;
[0157] 第二向量為f = ?:,···,&〖,各維度初始化為〇 ;
[0158] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0159] 或者,統(tǒng)計(jì)分布特征向量獲取單元31具體用于,獲取所述目標(biāo)圖像庫(kù)中每一圖像 與所述模板庫(kù)中每張樣例圖像的視覺相似度,獲得每一圖像的Q個(gè)二元組,每一二元組包 括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度;
[0160] 根據(jù)預(yù)設(shè)的視覺相似度的閾值,從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組,R為大于1的自然數(shù);
[0161] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量;
[0162] 其中,所述弟一向莖為$ -彳A,/6,,各維度初始化為0 ;
[0163] 第二向量為$ =丨64,…人},各維度初始化為0 ;
[0164] 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0165] 本實(shí)施例中的重排序裝置可執(zhí)行前述圖1和圖2所示的方法流程,本實(shí)施例不對(duì) 其進(jìn)行詳述。進(jìn)一步地,本實(shí)施例的重排序裝置可位于任一終端或設(shè)備中,實(shí)現(xiàn)圖像的檢 索。本實(shí)施例中車輛檢索的重排序裝置,能夠提升相似車輛檢索性能。
[0166] 本發(fā)明的說(shuō)明書中,說(shuō)明了大量具體細(xì)節(jié)。然而,能夠理解,本發(fā)明的實(shí)施例可以 在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中,并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技 術(shù),以便不模糊對(duì)本說(shuō)明書的理解。
[0167] 類似地,應(yīng)當(dāng)理解,為了精簡(jiǎn)本發(fā)明公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多 個(gè),在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中,本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè) 實(shí)施例、圖、或者對(duì)其的描述中。然而,并不應(yīng)將該公開的方法解釋呈反映如下意圖:即所要 求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō),如 下面的權(quán)利要求書所反映的那樣,發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。 因此,遵循【具體實(shí)施方式】的權(quán)利要求書由此明確地并入該【具體實(shí)施方式】,其中每個(gè)權(quán)利要 求本身都作為本發(fā)明的單獨(dú)實(shí)施例。
[0168] 本領(lǐng)域技術(shù)人員可以理解,可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變 并且把它們?cè)O(shè)置在于該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中??梢园褜?shí)施例中的模塊或單元或 組件組合成一個(gè)模塊或單元或組件,以及此外可以把它們分成多個(gè)子模塊或子單元或子組 件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是互相排斥之處,可以采用任何組 合對(duì)本說(shuō)明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任 何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述,本說(shuō)明書(包括伴隨的 權(quán)利要求、摘要和附圖)中公開的每個(gè)特征可以由提供相同、等同或相似目的的替代特征 來(lái)代替。
[0169] 此外,本領(lǐng)域的技術(shù)人員能夠理解,盡管在此所述的一些實(shí)施例包括其它實(shí)施例 中所包括的某些特征而不是其它特征,但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的 范圍之內(nèi)并且形成不同的實(shí)施例。例如,在下面的權(quán)利要求書中,所要求保護(hù)的實(shí)施例的任 意之一都可以以任意的組合方式來(lái)使用。
[0170] 本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn),或者以在一個(gè)或者多個(gè)處理器上運(yùn)行 的軟件模塊實(shí)現(xiàn),或者以它們的組合實(shí)現(xiàn)。應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明而 不是對(duì)本發(fā)明進(jìn)行限制,并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè) 計(jì)出替換實(shí)施例。在權(quán)利要求中,不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求 的限制。單詞"包含"不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞 "一"或"一個(gè)"不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬 件以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中,這些裝置 中的若干個(gè)可以是通過(guò)同一個(gè)硬件項(xiàng)來(lái)具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表 示任何順序。可將這些單詞解釋為名稱。
[0171] 最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制; 盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其 依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征 進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技 術(shù)方案的范圍,其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說(shuō)明書的范圍當(dāng)中。
【主權(quán)項(xiàng)】
1. 一種車輛檢索中的重排序方法,其特征在于,包括: 獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量, W及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向 量; 獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列,所述初始檢索結(jié)果序列是 按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的; 根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中每一圖像的第二統(tǒng)計(jì)分 布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相似度; 根據(jù)所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像的第一相似度和第二相似 度,確定所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像的第=相似度; 將所述初始檢索結(jié)果序列中的所有圖像按照所述第=相似度的大小重新排序,獲得重 排序的目標(biāo)檢索結(jié)果序列。2. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述獲取待查詢圖像基于預(yù)先建立的模 板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量之前,所述方法還包括: 對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括部分樣例圖像的模板庫(kù),所述模板庫(kù)中 的樣例圖像均不重復(fù)。3. 根據(jù)權(quán)利要求2所述的方法,其特征在于,所述對(duì)篩選后的樣例圖像進(jìn)行聚類處理, 建立包括樣例圖像的模板庫(kù),包括: 采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選,獲得篩選后的T張樣 例圖像; 其中,N、T均為大于1的自然數(shù),N大于T。4. 根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取待查詢圖像基于預(yù)先建立的模板庫(kù) 中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量,包括: 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè)二元組, 每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度; 根據(jù)預(yù)設(shè)的視覺相似度的闊值,從Q個(gè)二元組中篩選出Q'個(gè)二元組,Q和Q'均為大于 1的自然數(shù); 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì) 分布特征向量; 其中,所述第一向量為^ /V代,…,仇!,各維度初始化為O ; 第二向量為= !'V ,…A !,各維度初始化為O ; 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì)應(yīng)的 類別數(shù)量匹配。5. 根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模 板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向量,包括: 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,獲得每 一圖像的Q個(gè)二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度; 根據(jù)預(yù)設(shè)的視覺相似度的闊值,從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元組,R 為大于1的自然數(shù); 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成該圖像的 第二統(tǒng)計(jì)分布特征向量; 其中,所述第一向量為! A,仍,…,八、!,各維度初始化為O ; 第二向量為=化,/:,…A !,各維度初始化為O ; 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì)應(yīng)的 類別數(shù)量匹配。6. 根據(jù)權(quán)利要求4或5所述的方法,其特征在于,所述根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布 特征向量,包括: 將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除W統(tǒng)計(jì)有Q'個(gè)二元組的第二向量中對(duì) 應(yīng)維度值的開方,獲得第一統(tǒng)計(jì)分布特征向量; 或者, 根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量,包括: 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除W統(tǒng)計(jì)有R個(gè)二元組的第二向量中對(duì)應(yīng) 維度值的開方,獲得第二統(tǒng)計(jì)分布特征向量。7. -種車輛檢索中的重排序裝置,其特征在于,包括: 統(tǒng)計(jì)分布特征向量獲取單元,用于獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例 圖像的第一統(tǒng)計(jì)分布特征向量,W及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣 例圖像的第二統(tǒng)計(jì)分布特征向量; 初始檢索結(jié)果序列獲取單元,用于獲取所述目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié) 果序列,所述初始檢索結(jié)果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第 一相似度的大小排序的; 第二相似度確定單元,用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列 中的每一圖像的第二統(tǒng)計(jì)分布特征向量,確定所述待查詢圖像與所述初始檢索結(jié)果序列中 每一圖像的第二相似度; 第=相似度確定單元,用于根據(jù)所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像 的第一相似度和第二相似度,確定所述初始檢索結(jié)果序列中每一圖像與所述待查詢圖像的 第=相似度; 目標(biāo)檢索結(jié)果序列獲取單元,用于將所述初始檢索結(jié)果序列中的所有圖像按照所述第 =相似度的大小重新排序,獲取重排序的目標(biāo)檢索結(jié)果序列。8. 根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述裝置還包括: 模板庫(kù)建立單元,用于對(duì)篩選后的樣例圖像進(jìn)行聚類處理,建立包括部分樣例圖像的 模板庫(kù),所述模板庫(kù)中的樣例圖像均不重復(fù)。9. 根據(jù)權(quán)利要求7所述的裝置,其特征在于,統(tǒng)計(jì)分布特征向量獲取單元,具體用于 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,得到Q個(gè)二元組, 每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度; 根據(jù)預(yù)設(shè)的視覺相似度的闊值,從Q個(gè)二元組中篩選出Q'個(gè)二元組,Q和Q'均為大于 I的自然數(shù); 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì) 分布特征向量; 化及, 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺相似度,獲得每 一圖像的Q個(gè)二元組,每一二元組包括:樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺相似度; 根據(jù)預(yù)設(shè)的視覺相似度的闊值,從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元組,R 為大于1的自然數(shù); 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果生成該圖像的 第二統(tǒng)計(jì)分布特征向量; 其中,所述第一向量為=! A,仍,…,仇!,各維度初始化為O ; 第二向量為r = ki,f:,…A !,各維度初始化為O ; 所述第一向量的維度和第二向量的維度相同,且與所述模板庫(kù)中所有樣例圖像對(duì)應(yīng)的 類別數(shù)量匹配。10. -種車輛檢索方法,其特征在于,包括: 根據(jù)權(quán)利要求1至6任一所述的方法獲取待查詢圖像的目標(biāo)檢索結(jié)果序列; 根據(jù)所述目標(biāo)檢索結(jié)果序列,確定與所述待查詢圖像相似的目標(biāo)圖像。
【文檔編號(hào)】G06F17/30GK106033549SQ201510115124
【公開日】2016年10月19日
【申請(qǐng)日】2015年3月16日
【發(fā)明人】段凌宇, 李晨霞, 陳杰, 黃鐵軍, 高文
【申請(qǐng)人】北京大學(xué)