本技術屬于智能計算資源調度和存儲管理，尤其是涉及一種多業務系統的智能算力及存儲調度方法和系統。

背景技術：

1、隨著信息技術的不斷發展，云計算、大數據、高性能計算以及虛擬化等技術逐漸成為現代計算架構中的核心組成部分。特別是在多業務系統中，隨著計算任務日益復雜，業務需求也變得越來越多樣化，如何有效管理系統資源成為了提高整體性能和效率的關鍵。資源調度和管理作為這些系統中的基礎組件，其設計與優化直接影響到任務的執行效率、系統的穩定性和資源的利用率。

2、多業務系統通常會同時運行多種類型的任務，這些任務不僅在計算能力上有不同的需求，在存儲資源的使用上也呈現出較大差異。計算密集型任務往往要求較高的算力，而存儲密集型任務則對存儲i/o吞吐量有較高的要求。除了任務類型的差異外，不同任務還具有不同的優先級和資源消耗模式，這使得資源調度問題更加復雜。系統需要能夠實時感知這些變化并做出相應的調整，以確保高優先級任務得到及時處理，同時避免低優先級任務占用過多資源。

3、目前，在常見的資源調度方法中，許多系統依賴于靜態配置或基于規則的調度策略。例如，計算節點可能會被分配給固定的任務，存儲資源也可能根據預設的規則來進行分配。然而，這些方法往往難以有效應對復雜的業務需求和動態變化的資源使用情況。當系統負載發生變化，或者任務的資源需求超出了預期時，這些靜態的調度方法會導致資源過載或浪費，進而影響系統的整體性能和效率。例如，計算節點的過度負載可能導致任務執行延遲，而存儲資源的分配不均衡則可能導致部分存儲介質的過度使用或閑置，浪費了寶貴的硬件資源。

4、因此，如何通過準確預測系統在未來的算力和存儲需求，從而在多業務系統環境中實現資源的高效調度，是目前亟待解決的問題。

技術實現思路

1、為了在多業務系統環境中實現資源的高效調度，本技術提供了一種多業務系統的智能算力及存儲調度方法和系統。

2、第一方面，本技術提供一種多業務系統的智能算力及存儲調度方法，采用如下的技術方案：

3、一種多業務系統的智能算力及存儲調度方法，所述方法包括：

4、采集多業務系統中各節點的實時監控數據；

5、對所述實時監控數據進行特征提取，生成包含業務類型標簽、任務優先級及數據訪問模式的結構化特征向量，得到實時業務特征數據集；

6、基于所述實時業務特征數據集及歷史負載日志，通過時序預測模型預測未來預設時間窗口內的算力需求值及存儲需求分層策略；

7、根據所述算力需求值及存儲需求分層策略，結合強化學習算法對預測結果進行動態修正，生成動態資源需求表及跨業務優先級權重矩陣；

8、基于業務類型初始化調度策略規則庫中的預設規則；

9、基于所述預設規則和資源池拓撲信息，根據所述動態資源需求表和跨業務優先級權重矩陣，通過混合調度算法生成任務分配方案；

10、基于所述存儲需求分層策略，通過存儲調度引擎生成存儲數據遷移指令；

11、將所述任務分配方案及存儲數據遷移指令發送至虛擬化資源編排模塊，執行計算節點擴容、任務遷移及存儲數據重分布操作；

12、采集執行后的資源池狀態數據，生成資源池最新狀態快照；

13、基于所述資源池最新狀態快照及調度失敗案例庫，更新所述時序預測模型的權重參數和所述調度策略規則庫，得到更新后的策略版本并應用于下一調度周期。

14、通過采用上述技術方案，實現了多業務系統資源的智能化調度，通過深度結合實時監控數據與預測算法，系統能夠動態調整資源配置，提高了資源利用率，降低了系統瓶頸，同時保障了任務執行的高效性和系統的穩定性。此外，通過自適應優化策略，系統能夠持續改進調度決策，使得長時間運行后的調度效果更為精準和高效，從而進一步提升了整個多業務系統的性能與可靠性。

15、可選地，根據所述算力需求值及存儲需求分層策略，結合強化學習算法對預測結果進行動態修正，生成動態資源需求表及跨業務優先級權重矩陣的步驟包括：

16、獲取實時資源池狀態數據，并接收時序預測模型輸出的未來預設時間窗口內的算力需求值及存儲需求分層策略；

17、將所述算力需求值、存儲需求分層策略與實時資源池狀態數據合并為復合狀態向量，并進行歸一化處理，生成標準化狀態矩陣；

18、根據業務類型定義動作空間參數，并將所述動作空間參數輸入至預先配置的強化學習代理；其中，所述動作空間參數包括資源分配比例調整指令及存儲遷移觸發指令；

19、基于所述標準化狀態矩陣及歷史調度記錄，通過強化學習代理計算資源分配比例調整指令和存儲遷移觸發指令；其中，所述強化學習代理根據預設獎勵函數評估動作價值，更新策略網絡參數；

20、根據所述資源分配比例調整指令，結合預設業務特征庫，生成動態資源需求表；

21、基于所述動態資源需求表及存儲遷移觸發指令，構建跨業務優先級權重矩陣。

22、通過采用上述技術方案，基于強化學習的動態資源調度與優先級決策方法，能夠自動化、智能化地處理多業務系統中的資源分配問題。通過結合實時資源池狀態、時序預測數據以及強化學習算法，系統能夠靈活適應業務負載的變化，并做出高效、精準的資源調度決策。

23、可選地，在基于所述動態資源需求表及存儲遷移觸發指令，構建跨業務優先級權重矩陣的步驟之后，還包括：

24、將所述動態資源需求表及跨業務優先級權重矩陣輸入數字孿生模擬環境，生成模擬調度結果；

25、根據實際調度結果與模擬調度結果的誤差率，觸發增量學習模塊更新所述強化學習代理的策略網絡參數。

26、通過采用上述技術方案，將動態資源需求表與跨業務優先級權重矩陣輸入數字孿生模擬環境進行仿真，并根據實際調度結果與模擬調度結果的誤差率觸發增量學習模塊進行策略優化，進一步強化了系統在多業務環境中的智能調度能力。數字孿生模擬的使用，使得系統能夠在虛擬環境中測試和驗證各種調度策略，從而避免了在生產環境中出現不可預見的錯誤。通過增量學習模塊，系統能夠在實際運行過程中根據新的數據不斷優化決策策略，確保在各種復雜的業務場景中，資源調度始終能夠滿足高效性和靈活性需求。整體技術方案能夠顯著提高資源利用率、減少任務延遲，提升系統穩定性和整體性能，適應不斷變化的多業務環境。

27、可選地，基于業務類型初始化調度策略規則庫中的預設規則包括：

28、當所述業務類型為實時任務時，配置搶占式調度規則及存儲帶寬預留閾值；或，當所述業務類型為離線任務時，配置彈性資源池分配規則及冷數據存儲遷移策略。

29、通過采用上述技術方案，結合實時任務和離線任務的不同需求，為每種任務類型制定了定制化的調度規則。實時任務采用搶占式調度規則和帶寬預留策略，保證了其在高負載下的優先執行；離線任務則通過彈性資源池和冷數據遷移策略優化了資源的利用率。系統的調度策略庫不僅在初期根據業務需求進行初始化，在后續的每個調度周期中還會根據反饋信息進行動態調整，確保策略始終符合當前資源和業務需求。

30、可選地，基于所述預設規則和資源池拓撲信息，根據所述動態資源需求表和跨業務優先級權重矩陣，通過混合調度算法生成任務分配方案的步驟包括：

31、獲取動態資源需求表、跨業務優先級權重矩陣、資源池拓撲信息及預設規則；

32、對所述動態資源需求表進行時間窗口切分和歸一化處理，生成標準化資源需求時序切片；

33、基于資源池拓撲信息構建帶權有向圖，生成拓撲圖結構文件；

34、根據預設規則對所述標準化資源需求時序切片進行分類加權；

35、結合所述跨業務優先級權重矩陣和拓撲圖結構文件，計算任務與節點的匹配度評分，生成候選節點評分表及規則沖突標記列表；

36、基于所述候選節點評分表和規則沖突標記列表，通過啟發式算法生成最終的任務分配方案。

37、通過采用上述技術方案，系統能夠在動態資源需求和業務優先級變化的情況下，高效地分配任務和資源，優化系統性能，最終實現了精確的任務調度和資源利用，確保了多維度資源的高效協同和動態適應。

38、可選地，基于所述候選節點評分表和規則沖突標記列表，通過啟發式算法生成最終的任務分配方案的步驟包括：

39、獲取候選節點評分表、規則沖突標記列表及資源池拓撲信息；

40、根據所述候選節點評分表為每個任務篩選可分配節點白名單，排除規則沖突標記列表中的非法節點組合；

41、基于所述可分配節點白名單構建初始種群集合；其中，每個種群個體采用染色體編碼表示任務分配方案；

42、基于所述候選節點評分表和資源池拓撲信息中的通信延遲參數及節點負載數據，構建多目標適應度函數；

43、根據實時資源池狀態數據動態調整所述多目標適應度函數中每個優化目標的權重系數；

44、對所述初始種群集合執行錦標賽選擇操作，生成父代種群；

45、基于資源池拓撲信息中的通信路徑表，對父代種群中的父代染色體進行拓撲感知交叉操作，生成子代種群；

46、根據種群多樣性評估結果動態調整變異率，對所述子代種群中的子代染色體執行基于候選節點評分表的概率變異；

47、對適應度評分高于預設閾值的染色體執行局部搜索優化；

48、從父代種群與子代種群中篩選適應度最優的個體組成精英種群；

49、當滿足收斂條件時，將所述精英種群中適應度最高的染色體解碼為最終的任務分配方案。

50、通過采用上述技術方案，基于啟發式算法和遺傳算法的結合，實現了對任務分配方案的全局優化，提高了任務分配的效率和質量，最終能夠生成最優的任務分配方案，確保系統資源得到高效利用，降低了通信成本，使得負載均衡優化。

51、可選地，基于所述資源池最新狀態快照及調度失敗案例庫，更新所述時序預測模型的權重參數和所述調度策略規則庫，得到更新后的策略版本的步驟包括：

52、根據所述資源池最新狀態快照，得到節點負載率、存儲分布狀態及任務執行進度；

53、對所述節點負載率進行動態歸一化處理，生成標準化負載率矩陣；

54、對所述存儲分布狀態進行拓撲建模，生成存儲資源分布熱力圖；

55、對所述任務執行進度進行時間序列對齊，生成任務進度時序表；

56、基于所述標準化負載率矩陣和任務進度時序表，對所述時序預測模型進行增量訓練，更新模型權重參數；

57、根據所述存儲資源分布熱力圖動態調整時序預測模型的損失函數中的存儲約束權重；

58、結合所述任務進度時序表和調度失敗案例庫，檢測所述調度策略規則庫中與任務執行進度矛盾的沖突規則；

59、對所述沖突規則進行條件閾值重校準及執行優先級動態排序，生成優化后的調度策略規則庫；

60、基于所述存儲資源分布熱力圖和任務執行進度，對所述存儲需求分層策略進行冷熱數據遷移路徑優化，得到更新后的存儲分層配置文件；

61、將更新后的時序預測模型、優化后的調度策略規則庫及存儲分層配置文件封裝為更新后的策略版本。

62、通過采用上述技術方案，確保了調度策略的持續優化，通過數據驅動的方式實時調整系統的負載、存儲和任務調度策略，從而提升了系統資源利用率，減少了任務執行延遲，并確保了系統的穩定運行。

63、第二方面，本技術提供一種多業務系統的智能算力及存儲調度系統，采用如下的技術方案：

64、一種多業務系統的智能算力及存儲調度系統，所述系統包括：

65、數據采集模塊，用于采集多業務系統中各節點的實時監控數據；

66、特征提取模塊，用于對所述實時監控數據進行特征提取，生成包含業務類型標簽、任務優先級及數據訪問模式的結構化特征向量，得到實時業務特征數據集；

67、預測模塊，用于基于所述實時業務特征數據集及歷史負載日志，通過時序預測模型預測未來預設時間窗口內的算力需求值及存儲需求分層策略；

68、動態修正模塊，用于根據所述算力需求值及存儲需求分層策略，結合強化學習算法對預測結果進行動態修正，生成動態資源需求表及跨業務優先級權重矩陣；

69、規則初始化模塊，用于基于業務類型初始化調度策略規則庫中的預設規則；

70、任務分配模塊，用于基于所述預設規則和資源池拓撲信息，根據所述動態資源需求表和跨業務優先級權重矩陣，通過混合調度算法生成任務分配方案；

71、存儲數據遷移模塊，用于基于所述存儲需求分層策略，通過存儲調度引擎生成存儲數據遷移指令；

72、執行模塊，用于將所述任務分配方案及存儲數據遷移指令發送至虛擬化資源編排模塊，執行計算節點擴容、任務遷移及存儲數據重分布操作；

73、狀態數據采集模塊，用于采集執行后的資源池狀態數據，生成資源池最新狀態快照；所述資源池最新狀態快照包含節點負載率、存儲分布狀態及任務執行進度；

74、策略版本更新模塊，用于基于所述資源池最新狀態快照及調度失敗案例庫，更新所述時序預測模型的權重參數和所述調度策略規則庫，得到更新后的策略版本并應用于下一調度周期。

75、第三方面，本技術提供一種計算機設備，采用如下的技術方案：

76、一種計算機設備，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現如第一方面所述方法的步驟。

77、第四方面，本技術提供一種計算機可讀存儲介質，采用如下的技術方案：

78、一種計算機可讀存儲介質，存儲有能夠被處理器加載并執行如第一方面中任一種方法的計算機程序。

79、綜上所述，本技術包括以下至少一種有益技術效果：通過實時監控數據和特征提取，系統能夠動態預測算力需求和存儲需求，從而生成精準的資源需求表和優先級矩陣。利用強化學習對預測結果進行修正，優化任務分配和存儲數據遷移策略，通過混合調度算法和存儲調度引擎，系統確保任務和數據能夠智能分配和遷移，以提高資源利用率。最終，基于實時反饋數據更新預測模型和調度策略，形成一個持續優化的調度閉環，顯著提升了系統的調度效率、資源利用率和穩定性。