本公開整體涉及無線通信,并且更具體地涉及用于基于區的聯邦學習的區梯度擴散(zgd)技術的方法。
背景技術:
1、聯邦學習是跨保持本地數據樣本的多個分散式邊緣設備或服務器訓練聯邦學習模型而不與中央服務器共享數據樣本的機器學習技術。聯邦學習提供了隱私保護機器學習和邊緣上的連續學習的益處。然而,當設備處的數據是非獨立同分布(非iid)時,聯邦學習的性能受到損害。數據增強是解決非iid數據的方法。另一種方法是基于區的聯邦學習。
2、基于區的聯邦學習將參與設備分組到有助于邊緣處的非iid數據分布的區中。然而,來自感興趣區之外的設備的數據可能是相關的。如果區邊界不是靈活的,則那些相關模型更新將被忽略。用于捕獲相關相鄰設備信息的技術將是期望的。
技術實現思路
1、在本公開的各方面,處理器實現的方法包括從聯邦學習系統中的多個客戶端接收機器學習模型更新。該方法還包括確定與客戶端中的每個客戶端相關聯的固定本地區,該固定本地區具有第一固定邊界。該方法還包括基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權重。本地子集與固定本地區相對應。該方法還包括基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權重。相鄰子集與和固定本地區相鄰的固定相鄰區相對應。在更新模型權重時相鄰機器學習更新具有與本地機器學習更新不同的權重。不同的權重的值與相似性參數相對應,固定相鄰區具有第二固定邊界。
2、本公開的其他方面涉及一種裝置。該裝置具有至少一個存儲器和耦合到該至少一個存儲器的一個或多個處理器。該處理器被配置為從聯邦學習系統中的多個客戶端接收機器學習模型更新。該處理器還被配置為確定與客戶端中的每個客戶端相關聯的固定本地區,該固定本地區具有第一固定邊界。該處理器被進一步配置為基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權重。本地子集與固定本地區相對應。該處理器還被配置為基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權重。相鄰子集與和固定本地區相鄰的固定相鄰區相對應。在更新模型權重時相鄰機器學習更新具有與本地機器學習更新不同的權重。不同的權重的值與相似性參數相對應,固定相鄰區具有第二固定邊界。
3、本公開的其他方面涉及一種裝置。該裝置包括用于從聯邦學習系統中的多個客戶端接收機器學習模型更新的部件。該裝置還包括用于確定與客戶端中的每個客戶端相關聯的固定本地區的部件,該固定本地區具有第一固定邊界。該裝置還包括用于基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權重的部件。本地子集與固定本地區相對應。該裝置還包括用于基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權重的部件。相鄰子集與和固定本地區相鄰的固定相鄰區相對應。在更新模型權重時相鄰機器學習更新具有與本地機器學習更新不同的權重。不同的權重的值與相似性參數相對應,固定相鄰區具有第二固定邊界。
4、在本公開的其他方面,公開了一種其上記錄有程序代碼的非暫態計算機可讀介質。該程序代碼由處理器執行并且包括用于從聯邦學習系統中的客戶端接收機器學習模型更新的程序代碼。該程序代碼還包括用于確定與客戶端中的每個客戶端相關聯的固定區,固定本地區具有第一固定邊界。該程序代碼還包括用于基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權重的程序代碼。本地子集與固定本地區相對應。該程序代碼還包括用于基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權重的程序代碼。相鄰子集與和固定本地區相鄰的固定相鄰區相對應。在更新模型權重時相鄰機器學習更新具有與本地機器學習更新不同的權重。不同的權重的值與相似性參數相對應,固定相鄰區具有第二固定邊界。
5、各方面整體上包括如基本上參照附圖和說明書描述的和如附圖和說明書所例示的方法、裝置、系統、計算機程序產品、非暫態計算機可讀介質、用戶裝備、基站、無線通信設備和處理系統。
6、上文已經相當廣泛地概述了根據本公開的示例的特征和技術優點,以便可更好地理解下面的具體實施方式。將描述附加特征和優點。所公開的概念和特定示例可容易地被利用用于修改或設計用于實現本公開的相同目的的其他結構的基礎。此類等效構造不脫離所附權利要求書的范圍。所公開的概念的特性在其組織和操作方法兩方面以及相關聯的優勢將通過結合附圖來考慮以下描述而被更好地理解。提供附圖中的每個附圖是出于例示和描述的目的,而不是作為權利要求的限制的定義。
1.一種處理器實現的方法,包括:
2.根據權利要求1所述的處理器實現的方法,還包括利用機器學習訓練來學習所述相似性參數。
3.根據權利要求1所述的處理器實現的方法,其中所述相似性參數包括自注意力系數。
4.根據權利要求3所述的處理器實現的方法,其中所述自注意力系數將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關系進行歸一化。
5.根據權利要求4所述的處理器實現的方法,其中所述關系包括內積。
6.一種裝置,包括:
7.根據權利要求6所述的裝置,其中所述至少一個處理器被進一步配置為:利用機器學習訓練來學習所述相似性參數。
8.根據權利要求6所述的裝置,其中所述相似性參數包括自注意力系數。
9.根據權利要求8所述的裝置,其中所述自注意力系數將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關系進行歸一化。
10.根據權利要求9所述的裝置,其中所述關系包括內積。
11.一種裝置,包括:
12.根據權利要求11所述的裝置,還包括用于利用機器學習訓練來學習所述相似性參數的部件。
13.根據權利要求11所述的裝置,其中所述相似性參數包括自注意力系數。
14.根據權利要求13所述的裝置,其中所述自注意力系數將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關系進行歸一化。
15.根據權利要求14所述的裝置,其中所述關系包括內積。
16.一種非暫態計算機可讀介質,所述非暫態計算機可讀介質上記錄有程序代碼,所述程序代碼由處理器執行并且包括:
17.根據權利要求16所述的非暫態計算機可讀介質,其中所述程序代碼還包括用于利用機器學習訓練來學習所述相似性參數的程序代碼。
18.根據權利要求16所述的非暫態計算機可讀介質,其中所述相似性參數包括自注意力系數。
19.根據權利要求18所述的非暫態計算機可讀介質,其中所述自注意力系數將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關系進行歸一化。
20.根據權利要求19所述的非暫態計算機可讀介質,其中所述關系包括內積。