本技術實施例涉及點云壓縮，尤其是一種多模態點云壓縮方法、點云壓縮框架、設備以及存儲介質。

背景技術：

1、傳統的點云壓縮方法主要關注點云數據本身的幾何信息，通過樹結構或塊結構組織劃分點云，進行描述與編碼，雖然能夠有效減少數據量，但由于缺乏對其他模態信息的利用，例如，缺乏對圖像數據的利用，導致傳統的點云壓縮方法在壓縮過程中會丟失大量的語義信息，影響壓縮后的點云數據在機器分析任務中的性能表現。

技術實現思路

1、本技術實施例提供一種多模態點云壓縮方法、點云壓縮框架、設備以及存儲介質，可以利用圖像中的語義信息來輔助點云壓縮，并可以有效減少冗余信息，優化壓縮后的點云數據在機器分析任務中的性能表現。

2、為實現上述目的，本技術實施例的第一方面提供了一種多模態點云壓縮方法，應用于點云壓縮框架，所述方法包括：獲取原始點云數據，對所述原始點云數據進行預處理，得到量化點云數據；獲取所述原始點云數據對應的原始圖像數據，從所述原始圖像數據中提取多尺度圖像特征；對所述量化點云數據和所述多尺度圖像特征進行空間對齊和通道對齊，并根據對齊結果去除所述量化點云數據的空間冗余和通道冗余，得到跨模態點云特征；將所述量化點云數據劃分為多個點云數據組，并確定所述多個點云數據組之間的重建順序；按照所述重建順序，依序對所述多個點云數據組進行不同尺度的基礎特征重建，得到每個點云數據組對應的基礎點云解碼數據；其中，所述基礎特征重建的過程為將對應的點云數據組編碼得到點云編碼特征，以及根據前一個點云數據組對應的基礎點云解碼數據計算得到體素概率估計值，并按照所述體素概率估計值將所述點云編碼特征解碼得到所述基礎點云解碼數據，其中，所述重建順序中的首個點云數據組對應的體素概率估計值為預設先驗參數；基于預設的多模態熵模型生成所述量化點云數據的空間分布信息，并對所述空間分布信息進行所述空間對齊和所述通道對齊，得到增強分布信息；根據所述增強分布信息和所述基礎點云解碼數據對所述量化點云數據的反量化特征進行增強特征重建，得到壓縮點云數據。

3、在一些實施例中，所述對所述量化點云數據和所述多尺度圖像特征進行空間對齊和通道對齊，并根據對齊結果去除所述量化點云數據的空間冗余和通道冗余，得到跨模態點云特征，包括：根據所述多尺度圖像特征得到多個不同尺度的圖像特征；分別將所述量化點云數據與多個所述不同尺度的圖像特征進行空間對齊，確定并去除所述量化點云數據中的空間冗余；將去除所述空間冗余的所述量化點云數據與所述多尺度圖像特征進行通道對齊，確定并去除所述量化點云數據中的通道冗余；將去除所述空間冗余和所述通道冗余的所述量化點云數據確定為跨模態點云特征。

4、在一些實施例中，所述分別將所述量化點云數據與多個所述不同尺度的圖像特征進行空間對齊，確定所述量化點云數據中的空間冗余，包括：分別對多個所述不同尺度的圖像特征進行空間維度轉換，得到多個在空間維度上與所述量化點云數據匹配的維度圖像特征；分別將所述量化點云數據與多個所述維度圖像特征進行矩陣乘法計算，得到多個空間對齊特征；基于多個所述空間對齊特征確定所述量化點云數據中的空間冗余。

5、在一些實施例中，所述將去除所述空間冗余的所述量化點云數據與所述多尺度圖像特征進行通道對齊，確定所述量化點云數據中的通道冗余，包括：將去除所述空間冗余的所述量化點云數據進行通道維度轉換，得到在通道維度上與所述量化點云數據匹配的通道圖像特征；對所述通道圖像特征進行基于所述量化點云數據的線性層轉換，得到通道對齊特征；基于所述通道對齊特征確定所述量化點云數據中的通道冗余。

6、在一些實施例中，所述按照所述重建順序，依序對所述多個點云數據組進行不同尺度的基礎特征重建，得到每個點云數據組對應的基礎點云解碼數據，包括：確定所述重建順序中首個點云數據組，獲取預設先驗參數作為所述首個點云數據組的體素概率估計值，對所述首個點云數據組進行編碼，得到所述首個點云數據組的編碼數據，并根據所述首個點云數據組的體素概率估計值對所述首個點云數據組的編碼數據進行算術解碼，得到所述首個點云數據組的基礎點云解碼數據；以所述重建順序中的第二個點云數據組為起點，針對每個點云數據組，將前一個點云數據組對應的基礎點云解碼數據輸入到預設的跨尺度跨組編碼器中，計算得到所述點云數據組的體素概率估計值，并根據所述體素概率估計值對所述點云數據組對應的編碼數據進行算術解碼，得到對應的基礎點云解碼數據。

7、在一些實施例中，所述基于預設的多模態熵模型生成所述量化點云數據的空間分布信息，并對所述空間分布信息進行所述空間對齊和所述通道對齊，得到增強分布信息，包括：通過預設的多模態熵模型對所述量化點云數據進行超先驗特征重建，生成所述量化點云數據的空間分布信息；將所述空間分布信息與所述多尺度圖像特征進行空間對齊，確定所述空間分布信息中的空間冗余；將去除所述空間冗余的所述空間分布信息與所述多尺度圖像特征進行通道對齊，確定所述空間分布信息中的通道冗余；將去除所述空間冗余和所述通道冗余的所述空間分布信息確定為增強分布信息。

8、在一些實施例中，所述根據所述增強分布信息和所述基礎點云解碼數據對所述量化點云數據的反量化特征進行增強特征重建，得到壓縮點云數據，包括：對所述量化點云數據進行反量化特征提取處理，得到所述量化點云數據的反量化特征；基于預設的增強層編碼器根據所述增強分布信息對所述反量化特征進行編碼，得到點云特征編碼；基于預設的增強層解碼器根據所述增強分布信息對所述點云特征編碼進行解碼，得到增強點云解碼數據；根據所述增強點云解碼數據和所述基礎點云解碼數據得到壓縮點云數據。

9、在一些實施例中，所述得到壓縮點云數據之后，還包括：通過預設的圖像點模塊使用檢測模型和圖像編碼器將所述壓縮點云數據和所述多尺度圖像特征映射到共享的語義空間中，計算對應的多模態一致性損失；計算所述點云壓縮框架在所述基礎特征重建和所述增強特征重建過程中的幾何重建損失、碼率損失和基于檢測網絡的檢測損失；基于預設系數對所述多模態一致性損失、所述重建損失、所述碼率損失和所述檢測損失進行加權，得到點云壓縮損失；根據所述點云壓縮損失優化所述點云壓縮框架中各模型參數。

10、在一些實施例中，所述方法還包括：在粗粒度訓練階段和細粒度訓練階段，根據所述碼率損失優化所述點云壓縮框架中各模型參數；在聯合訓練階段，根據所述重建損失、所述碼率損失和所述檢測損失優化所述點云壓縮框架中各模型參數。

11、為實現上述目的，本技術實施例的第二方面提供了一種點云壓縮框架，包括：數據處理模塊，用于獲取原始點云數據，對所述原始點云數據進行預處理，得到量化點云數據；獲取所述原始點云數據對應的原始圖像數據，從所述原始圖像數據中提取多尺度圖像特征；多模態融合模塊，用于對所述量化點云數據和所述多尺度圖像特征進行空間對齊和通道對齊，并根據對齊結果去除所述量化點云數據的空間冗余和通道冗余，得到跨模態點云特征；多模態壓縮模塊，用于將所述量化點云數據劃分為多個點云數據組，并確定所述多個點云數據組之間的重建順序；按照所述重建順序，依序對所述多個點云數據組進行不同尺度的基礎特征重建，得到每個點云數據組對應的基礎點云解碼數據；其中，所述基礎特征重建的過程為將對應的點云數據組編碼得到點云編碼特征，以及根據前一個點云數據組對應的基礎點云解碼數據計算得到體素概率估計值，并按照所述體素概率估計值將所述點云編碼特征解碼得到所述基礎點云解碼數據，其中，所述重建順序中的首個點云數據組對應的體素概率估計值為預設先驗參數；多模態熵模型，用于基于預設的多模態熵模型生成所述量化點云數據的空間分布信息，并對所述空間分布信息進行所述空間對齊和所述通道對齊，得到增強分布信息；根據所述增強分布信息和所述基礎點云解碼數據對所述量化點云數據的反量化特征進行增強特征重建，得到壓縮點云數據。

12、為實現上述目的，本技術實施例的第三方面提供了一種電子設備，包括：至少一個處理器；至少一個存儲器，用于存儲至少一個程序；當至少一個所述程序被至少一個所述處理器執行時實現如第一方面中任意一項所述的多模態點云壓縮方法。

13、為實現上述目的，本技術實施例的第四方面提供了一種計算機可讀存儲介質，存儲有計算機可執行指令，所述計算機可執行指令用于執行如第一方面中任意一項所述的多模態點云壓縮方法。

14、本技術實施例提供一種多模態點云壓縮方法、點云壓縮框架、設備以及存儲介質，可以通過獲取原始點云數據，對其進行預處理，得到量化點云數據；獲取與原始點云數據對應的原始圖像數據，從中提取多尺度圖像特征，并通過對量化點云數據和多尺度圖像特征進行空間對齊和通道對齊，生成跨模態點云特征，減少模態冗余信息；進一步的，通過將量化點云數據劃分為多個數據組，根據跨模態點云特征對每個數據組進行多尺度的基礎特征重建，并基于已解碼的數據組計算當前數據組的體素概率估計值，進行解碼，得到基礎點云解碼數據；進一步的，基于預設的多模態熵模型生成量化點云數據的空間分布信息，進行空間對齊和通道對齊，得到增強分布信息，增強分布信息能夠有效集成圖像信息以消除空間通道冗余，進而可以根據增強分布信息和基礎點云解碼數據對量化點云數據的反量化特征進行增強特征重建，得到壓縮點云數據；可以理解的是，本技術通過利用圖像中的語義信息來輔助點云壓縮框架中的點云壓縮，可以有效減少冗余信息，同時保留圖像中的語義信息，以有效優化壓縮后的點云數據在機器分析任務中的性能表現。