本發(fā)明屬于機(jī)器學(xué)習(xí)，具體涉及一種地形渲染方法、系統(tǒng)、設(shè)備及介質(zhì)。
背景技術(shù)：
1、隨著計(jì)算機(jī)圖形學(xué)、地理信息技術(shù)(gis)以及圖形硬件等領(lǐng)域的迅速發(fā)展，虛擬現(xiàn)實(shí)(vr)已經(jīng)成為當(dāng)前備受矚目的技術(shù)焦點(diǎn)。虛擬現(xiàn)實(shí)技術(shù)利用三維空間算法來(lái)模擬虛擬環(huán)境，為用戶構(gòu)建一個(gè)仿真的虛擬場(chǎng)景，并使用戶能夠身臨其境地體驗(yàn)其中。而地形環(huán)境往往是構(gòu)成大型虛擬場(chǎng)景的基礎(chǔ)。目前，大規(guī)模地形的實(shí)時(shí)渲染技術(shù)在gis系統(tǒng)、軍事場(chǎng)景模擬、飛行場(chǎng)景模擬以及大型3d場(chǎng)景游戲等計(jì)算機(jī)圖形圖像學(xué)領(lǐng)域也有著廣泛的應(yīng)用場(chǎng)景。因此，在實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)時(shí)，對(duì)于大規(guī)模地形的實(shí)時(shí)渲染成為了必須攻克的核心技術(shù)之一。
2、為了滿足地形數(shù)據(jù)渲染的需求，研究人員提出了許多創(chuàng)新的算法和技術(shù)，包括基于數(shù)字地形模型的地形細(xì)節(jié)渲染、基于多細(xì)節(jié)層次模型(lod)的地形數(shù)據(jù)管理以及基于gpu加速的地形渲染方法算法等。然而這些地形實(shí)時(shí)渲染方法依賴于預(yù)先定義的地形數(shù)據(jù)、地表紋理和混合規(guī)則，但是由于地形的復(fù)雜性和多樣性，這些預(yù)定義的混合規(guī)則往往無(wú)法完全滿足各種地形的需求，導(dǎo)致渲染結(jié)果缺乏真實(shí)感。
技術(shù)實(shí)現(xiàn)思路
1、為了克服現(xiàn)有技術(shù)渲染效果缺乏真實(shí)感的不足，本發(fā)明提供了一種地形渲染方法，包括如下步驟：
2、獲取地形高度圖像和地表混合圖像；
3、將深度學(xué)習(xí)模型cyclegan中的生成器resnet替換為vit和u-net，得到地表混合規(guī)則生成模型vu-cyclegan；
4、將所述地形高度圖像和地表混合圖像輸入vu-cyclegan中，vu-cyclegan中的vit將所述地形高度圖像和地表混合圖像分割為多個(gè)圖像塊，并分析多個(gè)圖像塊間的關(guān)系，提取出多個(gè)圖像塊的全局特征，得到特征圖；u-net捕獲所述特征圖的局部特征，生成多個(gè)地表混合規(guī)則；
5、根據(jù)多個(gè)地表混合規(guī)則生成三維地形紋理特征，根據(jù)所述三維地形紋理特征進(jìn)行地形渲染。
6、優(yōu)選的，所述vit的編碼器包括12個(gè)encoderblock，每個(gè)encoderblock采用多頭自注意力機(jī)制msa和前饋網(wǎng)絡(luò)ffn分析多個(gè)圖像塊間的關(guān)系，并提取圖像塊的全局特征，得到特征圖。
7、優(yōu)選的，所述u-net捕獲所述特征圖的局部特征，具體為：通過(guò)u-net編碼器的下采樣層對(duì)輸入的特征圖進(jìn)行連續(xù)三次下采樣操作，逐步降低空間維度至32×32并增加至512通道，再通過(guò)u-net解碼器的上采樣層進(jìn)行三次上采樣操作逐步將經(jīng)過(guò)上采樣層的壓縮特征圖還原到與原始輸入圖像相同的空間尺寸，重建256×256圖像，得到地表混合規(guī)則。
8、優(yōu)選的，所述下采樣層包括兩個(gè)連續(xù)的3*3卷積層、relu激活函數(shù)、歸一化層和2*2池化層，所述卷積層用于提取特征圖的局部特征并增加特征圖的通道數(shù)量，池化層用于將特征圖的大小縮小為原來(lái)的一半。
9、優(yōu)選的，所述上采樣層包括一個(gè)3*3反卷積層、一個(gè)卷積層、relu激活函數(shù)和歸一化層，所述反卷積層用于將特征圖擴(kuò)大兩倍，所述卷積層使用跳躍連接將編碼器中的圖像塊與解碼器中相對(duì)應(yīng)層的圖像塊進(jìn)行融合，恢復(fù)特征圖的空間信息。
10、優(yōu)選的，所述地形高度圖像和地表混合圖像的原始尺寸為256*256。
11、本發(fā)明還提供有一種地形渲染系統(tǒng)，包括：
12、圖像獲取模塊，用于獲取地形高度圖像和地表混合圖像；
13、模型構(gòu)建模塊，用于將深度學(xué)習(xí)模型cyclegan中的生成器resnet替換為vit和u-net，得到地表混合規(guī)則生成模型vu-cyclegan；
14、地表混合規(guī)則生成模塊，用于將所述地形高度圖像和地表混合圖像輸入vu-cyclegan中，vu-cyclegan中的vit將所述地形高度圖像和地表混合圖像分割為多個(gè)圖像塊，并分析多個(gè)圖像塊間的關(guān)系，提取出多個(gè)圖像塊的全局特征，得到特征圖；u-net捕獲所述特征圖的局部特征，生成多個(gè)地表混合規(guī)則；
15、地形渲染模塊，用于根據(jù)多個(gè)地表混合規(guī)則生成三維地形紋理特征，根據(jù)所述三維地形紋理特征進(jìn)行地形渲染。
16、本發(fā)明還提供有一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器；所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器用于運(yùn)行所述存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，以執(zhí)行所述地形渲染方法。
17、本發(fā)明還提供有一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于處理器進(jìn)行加載，以執(zhí)行所述地形渲染方法。
18、本發(fā)明提供的地形渲染方法、系統(tǒng)、設(shè)備及介質(zhì)具有以下有益效果：
19、本發(fā)明基于深度學(xué)習(xí)模型cyclegan，將cyclegan中的resnet替換為vit和u-net，能夠得到地表混合規(guī)則生成模型vu-cyclegan；通過(guò)vu-cyclegan能夠提取地形特征并生成地表紋理混合規(guī)則，有效提升生成的地表混合規(guī)則的質(zhì)量和細(xì)節(jié)，從而得到逼真且細(xì)節(jié)豐富的地形紋理效果，通過(guò)更真實(shí)更自然的地形紋理，能夠得到更高質(zhì)量的地形渲染效果。
1.一種地形渲染方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的地形渲染方法，其特征在于，所述vit的編碼器包括12個(gè)encoderblock，每個(gè)encoderblock采用多頭自注意力機(jī)制msa和前饋網(wǎng)絡(luò)ffn分析多個(gè)圖像塊間的關(guān)系，并提取圖像塊的全局特征，得到特征圖。
3.根據(jù)權(quán)利要求1所述的地形渲染方法，其特征在于，所述u-net捕獲所述特征圖的局部特征，具體為：通過(guò)u-net編碼器的下采樣層對(duì)輸入的特征圖進(jìn)行連續(xù)三次下采樣操作，逐步降低空間維度至32×32并增加至512通道，再通過(guò)u-net解碼器的上采樣層進(jìn)行三次上采樣操作逐步將經(jīng)過(guò)上采樣層的壓縮特征圖還原到與原始輸入圖像相同的空間尺寸，重建256×256圖像，得到地表混合規(guī)則。
4.根據(jù)權(quán)利要求3所述的地形渲染方法，其特征在于，所述下采樣層包括兩個(gè)連續(xù)的3*3卷積層、relu激活函數(shù)、歸一化層和2*2池化層，所述卷積層用于提取特征圖的局部特征并增加特征圖的通道數(shù)量，池化層用于將特征圖的大小縮小為原來(lái)的一半。
5.根據(jù)權(quán)利要求3所述的地形渲染方法，其特征在于，所述上采樣層包括一個(gè)3*3反卷積層、一個(gè)卷積層、relu激活函數(shù)和歸一化層，所述反卷積層用于將特征圖擴(kuò)大兩倍，所述卷積層使用跳躍連接將編碼器中的圖像塊與解碼器中相對(duì)應(yīng)層的圖像塊進(jìn)行融合，恢復(fù)特征圖的空間信息。
6.根據(jù)權(quán)利要求1所述的地形渲染方法，其特征在于，所述地形高度圖像和地表混合圖像的原始尺寸為256*256。
7.一種地形渲染系統(tǒng)，其特征在于，包括：
8.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器和處理器；所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器用于運(yùn)行所述存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，以執(zhí)行權(quán)利要求1至6任一項(xiàng)所述的地形渲染方法。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至6任一項(xiàng)所述的地形渲染方法。