本發(fā)明涉及機(jī)器視覺(jué)與模式識(shí)別，更確切地說(shuō)，它涉及一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法。
背景技術(shù)：
1、現(xiàn)有的復(fù)雜自然背景下圖像語(yǔ)義分割與分類(lèi)識(shí)別技術(shù)有：1）特征融合法：該類(lèi)方法利用淺層特征提供細(xì)節(jié)信息，深層特征提供語(yǔ)義信息，并通過(guò)通道注意力機(jī)制增強(qiáng)特征融合，再通過(guò)多分辨率特征金字塔和多層級(jí)信息融合，保留高分辨率特征圖，避免低分辨率特征損失。由于該類(lèi)方法在多源數(shù)據(jù)融合時(shí)，直接將不同來(lái)源的特征相加或級(jí)聯(lián)，因此容易引入冗余信息和噪聲，導(dǎo)致分割效果不佳；2）閾值法和邊界檢測(cè)法：該類(lèi)方法首先根據(jù)圖像的灰度直方圖或其他統(tǒng)計(jì)特性選擇合適的閾值。然后將每個(gè)像素的灰度值與閾值進(jìn)行比較，將像素分配到前景或背景。這類(lèi)方法對(duì)光照條件和噪聲非常敏感，當(dāng)圖像存在不均勻光照或噪聲干擾時(shí)，可能無(wú)法準(zhǔn)確區(qū)分目標(biāo)和背景；3）深度神經(jīng)網(wǎng)絡(luò)方法：該類(lèi)方法通過(guò)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，自動(dòng)挖掘圖像目標(biāo)區(qū)域中更深層次且更魯棒的圖形表征，從而與其它無(wú)關(guān)區(qū)域的特征進(jìn)行區(qū)分，排除掉無(wú)關(guān)背景對(duì)目標(biāo)的識(shí)別，但是該類(lèi)方法由于所使用的卷積核通常較小，導(dǎo)致它們?cè)诔跏茧A段只能利用局部信息，難以從全局角度理解圖像，因此容易丟失細(xì)節(jié)關(guān)鍵信息，即缺乏對(duì)全局上下文信息的有效利用，而且它們對(duì)復(fù)雜場(chǎng)景的適應(yīng)性和泛化能力也不足。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提出了一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法。
2、第一方面，提供了一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，包括：
3、s1、構(gòu)建粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)；通過(guò)粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)對(duì)水稻圖像分別進(jìn)行特征提取，獲取細(xì)粒度特征映射和粗粒度特征映射；
4、s2、通過(guò)空間金字塔池化層對(duì)s1得到的特征映射進(jìn)行尺寸歸一化；
5、s3、基于sift描述子對(duì)細(xì)粒度特征映射和粗粒度特征映射進(jìn)行關(guān)鍵點(diǎn)檢測(cè)與特征關(guān)聯(lián)，建立目標(biāo)區(qū)域、背景區(qū)域及錯(cuò)誤匹配區(qū)域的對(duì)應(yīng)關(guān)系；
6、s4、利用帶有徑向基核函數(shù)的支持向量機(jī)對(duì)特征映射中的目標(biāo)區(qū)域和背景區(qū)域進(jìn)行最優(yōu)分類(lèi)超平面劃分，過(guò)濾無(wú)關(guān)背景及錯(cuò)誤匹配的噪聲點(diǎn)；
7、s5、將保留的目標(biāo)區(qū)域特征輸入全連接層，通過(guò)softmax分類(lèi)器實(shí)現(xiàn)水稻圖像的分類(lèi)識(shí)別。
8、作為優(yōu)選，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)包括粗粒度神經(jīng)網(wǎng)絡(luò)和細(xì)粒度神經(jīng)網(wǎng)絡(luò)；所述粗粒度神經(jīng)網(wǎng)絡(luò)包括淺層卷積層和下采樣層；所述細(xì)粒度神經(jīng)網(wǎng)絡(luò)包括深層卷積層和下采樣層；所述粗粒度神經(jīng)網(wǎng)絡(luò)的局部感受野尺寸大于所述細(xì)粒度神經(jīng)網(wǎng)絡(luò)的局部感受野尺寸。
9、作為優(yōu)選，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)的卷積層通過(guò)設(shè)置dropconnect算法作為正則項(xiàng)。
10、作為優(yōu)選，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)通過(guò)采用局部響應(yīng)歸一化對(duì)特征圖進(jìn)行通道維度的歸一化處理。
11、作為優(yōu)選，s2中，所述空間金字塔池化層對(duì)細(xì)粒度特征映射和粗粒度特征映射進(jìn)行多級(jí)網(wǎng)格劃分，并對(duì)每個(gè)網(wǎng)格進(jìn)行池化操作，所有網(wǎng)格的池化結(jié)果通過(guò)拼接形成固定長(zhǎng)度的特征向量。
12、作為優(yōu)選，s3中，通過(guò)k最鄰近算法匹配粗粒度神經(jīng)網(wǎng)絡(luò)和細(xì)粒度神經(jīng)網(wǎng)絡(luò)的特征描述子；并在匹配過(guò)程中基于歐氏距離閾值篩選有效關(guān)聯(lián)。
13、作為優(yōu)選，s4中，最優(yōu)分類(lèi)超平面通過(guò)拉格朗日乘子求解凸優(yōu)化問(wèn)題得到。
14、第二方面，提供了一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別系統(tǒng)，用于執(zhí)行第一方面任一所述的方法，包括：
15、構(gòu)建模塊，用于構(gòu)建粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)；通過(guò)粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)對(duì)水稻圖像分別進(jìn)行特征提取，獲取細(xì)粒度特征映射和粗粒度特征映射；
16、歸一化模塊，用于通過(guò)空間金字塔池化層對(duì)構(gòu)建模塊得到的特征映射進(jìn)行尺寸歸一化；
17、關(guān)聯(lián)模塊，用于基于sift描述子對(duì)細(xì)粒度特征映射和粗粒度特征映射進(jìn)行關(guān)鍵點(diǎn)檢測(cè)與特征關(guān)聯(lián)，建立目標(biāo)區(qū)域、背景區(qū)域及錯(cuò)誤匹配區(qū)域的對(duì)應(yīng)關(guān)系；
18、劃分模塊，用于利用帶有徑向基核函數(shù)的支持向量機(jī)對(duì)特征映射中的目標(biāo)區(qū)域和背景區(qū)域進(jìn)行最優(yōu)分類(lèi)超平面劃分，過(guò)濾無(wú)關(guān)背景及錯(cuò)誤匹配的噪聲點(diǎn)；
19、分類(lèi)模塊，用于將保留的目標(biāo)區(qū)域特征輸入全連接層，通過(guò)softmax分類(lèi)器實(shí)現(xiàn)水稻圖像的分類(lèi)識(shí)別。
20、第三方面，提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序；所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行第一方面任一所述的方法。
21、第四方面，提供了一種電子設(shè)備，包括：
22、存儲(chǔ)器，用于保存計(jì)算機(jī)程序；
23、處理器，用于執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)如第一方面任一所述的方法。
24、本發(fā)明的有益效果是：本發(fā)明采用卷積神經(jīng)網(wǎng)絡(luò)為技術(shù)手段，通過(guò)本發(fā)明所提出的新模型粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)復(fù)雜背景下水稻植株的語(yǔ)義分割與識(shí)別分類(lèi)，首先它可以將水稻植株從背景（如土壤、雜草等）中分離出來(lái)，從而避免了不相關(guān)背景區(qū)域?qū)ι窠?jīng)網(wǎng)絡(luò)感知過(guò)程的擾動(dòng)，包括背景噪聲、光照變化和水稻植株的形態(tài)多樣性等，因此該模型具有更強(qiáng)的針對(duì)性與魯棒性，對(duì)戶外復(fù)雜背景的適應(yīng)能力和整體性能也得到了明顯的提升，因此后面對(duì)水稻植株的分類(lèi)識(shí)別精度也就更高。
1.一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)包括粗粒度神經(jīng)網(wǎng)絡(luò)和細(xì)粒度神經(jīng)網(wǎng)絡(luò)；所述粗粒度神經(jīng)網(wǎng)絡(luò)包括淺層卷積層和下采樣層；所述細(xì)粒度神經(jīng)網(wǎng)絡(luò)包括深層卷積層和下采樣層；所述粗粒度神經(jīng)網(wǎng)絡(luò)的局部感受野尺寸大于所述細(xì)粒度神經(jīng)網(wǎng)絡(luò)的局部感受野尺寸。
3.根據(jù)權(quán)利要求2所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)的卷積層通過(guò)設(shè)置dropconnect算法作為正則項(xiàng)。
4.根據(jù)權(quán)利要求2所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s1中，所述粗粒度-細(xì)粒度感知協(xié)同神經(jīng)網(wǎng)絡(luò)通過(guò)采用局部響應(yīng)歸一化對(duì)特征圖進(jìn)行通道維度的歸一化處理。
5.根據(jù)權(quán)利要求4所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s2中，所述空間金字塔池化層對(duì)細(xì)粒度特征映射和粗粒度特征映射進(jìn)行多級(jí)網(wǎng)格劃分，并對(duì)每個(gè)網(wǎng)格進(jìn)行池化操作，所有網(wǎng)格的池化結(jié)果通過(guò)拼接形成固定長(zhǎng)度的特征向量。
6.根據(jù)權(quán)利要求5所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s3中，通過(guò)k最鄰近算法匹配粗粒度神經(jīng)網(wǎng)絡(luò)和細(xì)粒度神經(jīng)網(wǎng)絡(luò)的特征描述子；并在匹配過(guò)程中基于歐氏距離閾值篩選有效關(guān)聯(lián)。
7.根據(jù)權(quán)利要求6所述的復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別的方法，其特征在于，s4中，最優(yōu)分類(lèi)超平面通過(guò)拉格朗日乘子求解凸優(yōu)化問(wèn)題得到。
8.一種復(fù)雜背景下水稻圖像語(yǔ)義分割與分類(lèi)識(shí)別系統(tǒng)，其特征在于，用于執(zhí)行權(quán)利要求1至7任一所述的方法，包括：
9.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序；所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行權(quán)利要求1至7任一所述的方法。
10.一種電子設(shè)備，其特征在于，包括：