本申請(qǐng)一般涉及數(shù)據(jù)處理技術(shù)，包括但不限于基于立體匹配從圖像數(shù)據(jù)確定深度信息的方法、系統(tǒng)、和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。
背景技術(shù)：
1、對(duì)于需要為虛擬對(duì)象創(chuàng)建遮擋和碰撞效果并在物理環(huán)境中生成密集網(wǎng)格圖的增強(qiáng)現(xiàn)實(shí)(augmented?reality,ar)應(yīng)用程序而言，來(lái)自單目移動(dòng)攝像頭的深度圖像估計(jì)是必要的?，F(xiàn)有的深度估計(jì)算法大多基于具有固定相對(duì)位姿的兩個(gè)攝像頭鏡頭的立體攝像頭的立體匹配而開(kāi)發(fā)，不能直接應(yīng)用于單目攝像頭拍攝的具有任意相對(duì)位姿的不同圖像?；谙袼氐娜菧y(cè)量算法通常與極坐標(biāo)矯正(polar?rectification)一起應(yīng)用以產(chǎn)生深度信息，然而，該算法不適用于具有任意相對(duì)攝像頭位姿的圖像，并且可能將額外的計(jì)算負(fù)擔(dān)和噪聲引入深度估計(jì)。一些其他解決方案使用稀疏特征點(diǎn)進(jìn)行密集深度估計(jì)以用于實(shí)時(shí)渲染。盡管計(jì)算速度很快，但是，特別是當(dāng)稀疏點(diǎn)的數(shù)量不夠大時(shí)，這種密集深度估計(jì)會(huì)生成分辨率有限的深度圖像。擁有一種基于圖像數(shù)據(jù)以快速、準(zhǔn)確、和高效的方式確定深度信息的深度估計(jì)機(jī)制將是有益的。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的各個(gè)實(shí)施例旨在基于具有與當(dāng)前圖像不同的攝像頭位姿的參考圖像確定當(dāng)前圖像的深度圖像或深度圖(例如，在擴(kuò)展現(xiàn)實(shí)應(yīng)用程序中)。當(dāng)前圖像和參考圖像具有任意且不同的相對(duì)位姿。對(duì)當(dāng)前圖像和參考圖像中的一個(gè)或兩個(gè)圖像應(yīng)用松弛圖像矯正，以使其極線彼此平行和/或其極點(diǎn)移動(dòng)到這兩個(gè)圖像的相同圖像平面中的相同位置。沿極線使用立體匹配來(lái)估計(jì)當(dāng)前圖像和參考圖像之間的視差圖以及參考圖像的深度圖。此外，在一些實(shí)施例中，將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于深度圖以參考當(dāng)前圖像去除噪聲。在一些情況下，增強(qiáng)現(xiàn)實(shí)(augmented?reality,ar)軟件開(kāi)發(fā)工具包(software?development?kit,sdk)使用圖像序列估計(jì)環(huán)境的三維(three-dimensional,3d)幾何或結(jié)構(gòu)信息，該圖像序列由移動(dòng)設(shè)備的單目攝像頭基于其同時(shí)定位和建圖(simultaneous?localization?and?mapping,slam)模塊確定的攝像頭位姿收集。
2、在一個(gè)方面，一種方法在具有一個(gè)或多個(gè)處理器和存儲(chǔ)器的電子設(shè)備上實(shí)現(xiàn)。該方法包括獲得與當(dāng)前攝像頭位姿關(guān)聯(lián)的當(dāng)前圖像以及獲得與不同于當(dāng)前攝像頭位姿的參考攝像頭位姿關(guān)聯(lián)的參考圖像。該方法還包括參考當(dāng)前圖像對(duì)參考圖像應(yīng)用松弛圖像矯正操作以生成矯正的參考圖像。當(dāng)前圖像的當(dāng)前極線與矯正的參考圖像的參考極線平行。該方法還包括生成當(dāng)前圖像對(duì)應(yīng)的第一視差圖和矯正的參考圖像。第一視差圖表示以下二者之間的第一視差：(1)每個(gè)當(dāng)前像素與當(dāng)前圖像的子集中的當(dāng)前極點(diǎn)的當(dāng)前距離，(2)相應(yīng)參考像素與矯正的參考圖像的參考極點(diǎn)的參考距離。該方法還包括基于第一視差圖確定當(dāng)前圖像的深度圖，深度圖包括當(dāng)前圖像的子集的每個(gè)當(dāng)前像素的深度值。在一些實(shí)施例中，對(duì)于當(dāng)前圖像的子集的每個(gè)當(dāng)前像素，深度值表示為：其中，dp表示第一視差圖中的相應(yīng)當(dāng)前像素對(duì)應(yīng)的第一視差，a和b為兩個(gè)像素轉(zhuǎn)換參數(shù)。
3、在一些實(shí)施例中，該方法還包括生成當(dāng)前圖像和矯正的參考圖像對(duì)應(yīng)的第二視差圖，第二視差圖表示以下二者之間的第二視差：每個(gè)參考像素與矯正的參考圖像的子集的參考極點(diǎn)的參考距離，相應(yīng)當(dāng)前像素與當(dāng)前圖像中的當(dāng)前極點(diǎn)的當(dāng)前距離。基于第一視差圖和第二視差圖確定當(dāng)前圖像的深度圖。
4、在一些實(shí)施例中，確定第一視差圖還包括：對(duì)于當(dāng)前圖像的子集中的每個(gè)當(dāng)前像素，確定經(jīng)過(guò)矯正的參考圖像上的參考像素的極線，基于視差范圍選擇極線上的極線段，創(chuàng)建位于極線段上的多個(gè)候選像素的代價(jià)體積，以及基于代價(jià)體積確定當(dāng)前距離和參考距離的第一視差。代價(jià)體積具有多個(gè)代價(jià)元素且每個(gè)代價(jià)元素指示當(dāng)前圖像中的當(dāng)前像素的第一特征值和矯正的參考圖像中極線段上對(duì)應(yīng)候選像素的第二特征值之間的漢明距離。
5、在另一方面，一些實(shí)施例包括電子設(shè)備。該電子設(shè)備包括一個(gè)或多個(gè)處理器和其上存儲(chǔ)有指令的存儲(chǔ)器，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，該指令使處理器執(zhí)行上述任一方法。
6、在另一方面，一些實(shí)施例包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，該指令使處理器執(zhí)行上述任一方法。
7、提及這些說(shuō)明性實(shí)施例和實(shí)施例并不是為了限制或定義本公開(kāi)，而是為了提供示例以幫助理解本公開(kāi)。在具體實(shí)施方式中討論了其他實(shí)施例，并在具體實(shí)施方式中提供了進(jìn)一步的描述。
1.一種深度映射方法，在具有一個(gè)或多個(gè)處理器和存儲(chǔ)器的電子設(shè)備上實(shí)現(xiàn)，包括：
2.根據(jù)權(quán)利要求1所述的方法，還包括：
3.根據(jù)權(quán)利要求2所述的方法，還包括：
4.根據(jù)權(quán)利要求2所述的方法，還包括：對(duì)于所述第一視差圖的與所述當(dāng)前圖像的子集的相應(yīng)當(dāng)前像素對(duì)應(yīng)的每個(gè)相應(yīng)元素，
5.根據(jù)權(quán)利要求4所述的方法，其中，基于所述視差差異圖確定是否修改所述第一視差圖的所述相應(yīng)元素還包括：
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述當(dāng)前圖像的子集的每個(gè)當(dāng)前像素的深度值表示為：
7.根據(jù)權(quán)利要求6的方法，還包括：對(duì)于所述當(dāng)前圖像的子集的每個(gè)當(dāng)前像素，
8.根據(jù)權(quán)利要求7所述的方法，還包括：
9.根據(jù)權(quán)利要求8所述的方法，其中，對(duì)于所述當(dāng)前圖像的子集中的每個(gè)當(dāng)前像素，所述查找表包括以下一個(gè)或多個(gè)：所述當(dāng)前像素與所述當(dāng)前圖像的所述當(dāng)前極點(diǎn)的所述當(dāng)前距離、所述矯正的參考圖像中極線的傾斜角、所述當(dāng)前距離和所述參考距離的所述第一視差的視差范圍、以及所述兩個(gè)像素轉(zhuǎn)換參數(shù)。
10.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，確定所述第一視差圖還包括：對(duì)于所述當(dāng)前圖像的子集中的每個(gè)當(dāng)前像素，
11.根據(jù)權(quán)利要求10的方法，還包括：對(duì)于所述當(dāng)前圖像的子集中的每個(gè)當(dāng)前像素，
12.根據(jù)權(quán)利要求11的方法，還包括：對(duì)于每個(gè)代價(jià)元素，
13.根據(jù)權(quán)利要求10所述的方法，還包括：通過(guò)以下估計(jì)所述當(dāng)前圖像的所述視差范圍，
14.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，所述深度圖包括第一深度圖，所述方法還包括：
15.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述當(dāng)前圖像中的所述當(dāng)前極點(diǎn)的位置與所述矯正的參考圖像中的所述參考極點(diǎn)的位置基本相同。
16.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述當(dāng)前圖像的每個(gè)當(dāng)前像素和所述矯正的參考圖像的所述相應(yīng)參考像素對(duì)應(yīng)于視場(chǎng)中的同一對(duì)象。
17.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，還包括根據(jù)參考選擇標(biāo)準(zhǔn)從多個(gè)候選圖像中選擇所述參考圖像。
18.根據(jù)權(quán)利要求17的方法，其中，所述參考選擇標(biāo)準(zhǔn)要求以下至少一個(gè)條件：
19.根據(jù)權(quán)利要求17或18所述的方法，其中，所述參考選擇標(biāo)準(zhǔn)定義方位角閾值，并且選擇所述參考圖像還包括：
20.根據(jù)權(quán)利要求17-19任一項(xiàng)所述的方法，其中，所述參考選擇標(biāo)準(zhǔn)定義特征點(diǎn)數(shù)量范圍，并且選擇所述參考圖像還包括：
21.根據(jù)權(quán)利要求17-20中任一項(xiàng)所述的方法，其中，所述參考選擇標(biāo)準(zhǔn)定義位姿誤差閾值，并且選擇所述參考圖像還包括：
22.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，還包括通過(guò)以下確定所述當(dāng)前像素的所述深度值：
23.一種電子設(shè)備，包括：
24.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令使所述處理器執(zhí)行權(quán)利要求1-22中任一項(xiàng)的方法。