本發(fā)明涉及卷煙機(jī)技術(shù)，尤其涉及卷煙機(jī)回絲量在線動(dòng)態(tài)沖量稱重方法及系統(tǒng)。

背景技術(shù)：

1、卷煙生產(chǎn)過程中，回絲量的精確測量是保證產(chǎn)品質(zhì)量的關(guān)鍵環(huán)節(jié)。回絲是指在卷煙生產(chǎn)過程中產(chǎn)生的煙絲廢料，其量的準(zhǔn)確計(jì)量直接影響到生產(chǎn)效率和成本控制。目前，卷煙機(jī)回絲量測量主要采用沖量稱重技術(shù)，該技術(shù)通過測量回絲在輸送裝置上產(chǎn)生的沖擊力來計(jì)算回絲量，具有響應(yīng)速度快、實(shí)時(shí)性強(qiáng)的特點(diǎn)，廣泛應(yīng)用于現(xiàn)代卷煙生產(chǎn)線中。

2、傳統(tǒng)的卷煙機(jī)回絲量沖量稱重系統(tǒng)存在多方面不足。首先，傳統(tǒng)系統(tǒng)采用固定參數(shù)模型進(jìn)行稱重計(jì)算，無法適應(yīng)生產(chǎn)環(huán)境中的動(dòng)態(tài)變化，當(dāng)生產(chǎn)條件如溫度、濕度、回絲密度等發(fā)生變化時(shí)，測量精度會(huì)顯著下降，導(dǎo)致回絲量數(shù)據(jù)不準(zhǔn)確。其次，現(xiàn)有稱重系統(tǒng)缺乏自適應(yīng)學(xué)習(xí)能力，需要人工定期進(jìn)行校準(zhǔn)和參數(shù)調(diào)整，不僅增加了維護(hù)成本，還因校準(zhǔn)不及時(shí)而產(chǎn)生累積誤差，影響生產(chǎn)質(zhì)量控制。此外，傳統(tǒng)回絲量稱重系統(tǒng)對(duì)于突發(fā)干擾和設(shè)備磨損導(dǎo)致的性能變化反應(yīng)遲鈍，無法實(shí)現(xiàn)實(shí)時(shí)補(bǔ)償，使測量系統(tǒng)長期運(yùn)行穩(wěn)定性不足，影響數(shù)據(jù)可靠性和生產(chǎn)連續(xù)性。

3、隨著智能制造技術(shù)的發(fā)展，將人工智能尤其是深度強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于工業(yè)測量系統(tǒng)的自適應(yīng)優(yōu)化成為可能。通過構(gòu)建能夠?qū)W習(xí)環(huán)境變化并不斷自我優(yōu)化的稱重模型，可以有效解決傳統(tǒng)回絲量沖量稱重系統(tǒng)面臨的上述問題，實(shí)現(xiàn)測量精度的提升和系統(tǒng)性能的穩(wěn)定。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供卷煙機(jī)回絲量在線動(dòng)態(tài)沖量稱重方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實(shí)施例的第一方面，提供卷煙機(jī)回絲量在線動(dòng)態(tài)沖量稱重方法，包括：

3、采集卷煙機(jī)回絲量沖量稱重系統(tǒng)的實(shí)時(shí)運(yùn)行數(shù)據(jù)，利用所述實(shí)時(shí)運(yùn)行數(shù)據(jù)構(gòu)建深度強(qiáng)化學(xué)習(xí)模型，將所述實(shí)時(shí)運(yùn)行數(shù)據(jù)輸入所述深度強(qiáng)化學(xué)習(xí)模型，生成回絲量沖量稱重的理論值；

4、實(shí)時(shí)獲取回絲量沖量稱重系統(tǒng)的物理測量值，計(jì)算所述物理測量值與所述理論值之間的差異度，將所述差異度作為所述深度強(qiáng)化學(xué)習(xí)模型的獎(jiǎng)勵(lì)函數(shù)；

5、基于所述獎(jiǎng)勵(lì)函數(shù)對(duì)所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行在線迭代訓(xùn)練，通過所述迭代訓(xùn)練更新所述深度強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)，使所述深度強(qiáng)化學(xué)習(xí)模型能夠適應(yīng)回絲量沖量稱重系統(tǒng)的動(dòng)態(tài)變化；

6、利用更新后的所述深度強(qiáng)化學(xué)習(xí)模型生成校正參數(shù)，根據(jù)所述校正參數(shù)對(duì)所述回絲量沖量稱重系統(tǒng)進(jìn)行在線動(dòng)態(tài)校正，實(shí)現(xiàn)所述回絲量沖量稱重系統(tǒng)的自適應(yīng)優(yōu)化。

7、利用所述實(shí)時(shí)運(yùn)行數(shù)據(jù)構(gòu)建深度強(qiáng)化學(xué)習(xí)模型，將所述實(shí)時(shí)運(yùn)行數(shù)據(jù)輸入所述深度強(qiáng)化學(xué)習(xí)模型，生成回絲量沖量稱重的理論值包括：

8、對(duì)所述實(shí)時(shí)運(yùn)行數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算所述實(shí)時(shí)運(yùn)行數(shù)據(jù)的均值和標(biāo)準(zhǔn)差，基于所述均值和所述標(biāo)準(zhǔn)差將所述實(shí)時(shí)運(yùn)行數(shù)據(jù)映射到零均值單位方差分布，生成標(biāo)準(zhǔn)化后的實(shí)時(shí)運(yùn)行數(shù)據(jù)；

9、深度強(qiáng)化學(xué)習(xí)模型包括狀態(tài)空間和動(dòng)作空間，通過所述狀態(tài)空間提取所述標(biāo)準(zhǔn)化后的實(shí)時(shí)運(yùn)行數(shù)據(jù)的時(shí)序特征，基于所述時(shí)序特征構(gòu)建狀態(tài)向量；通過所述動(dòng)作空間的權(quán)重矩陣和偏置向量將所述狀態(tài)向量映射為動(dòng)作向量；

10、計(jì)算所述狀態(tài)向量與所述動(dòng)作向量之間的均方根誤差，將所述均方根誤差的負(fù)值作為獎(jiǎng)勵(lì)函數(shù)值，基于所述獎(jiǎng)勵(lì)函數(shù)值構(gòu)建所述深度強(qiáng)化學(xué)習(xí)模型的損失函數(shù)；采用梯度下降法對(duì)所述損失函數(shù)進(jìn)行優(yōu)化，更新所述權(quán)重矩陣和所述偏置向量，實(shí)現(xiàn)所述深度強(qiáng)化學(xué)習(xí)模型的在線訓(xùn)練；

11、將所述標(biāo)準(zhǔn)化后的實(shí)時(shí)運(yùn)行數(shù)據(jù)輸入訓(xùn)練完成的深度強(qiáng)化學(xué)習(xí)模型，通過所述狀態(tài)空間和所述動(dòng)作空間的順序計(jì)算，得到預(yù)測理論值；

12、根據(jù)回絲量沖量稱重系統(tǒng)的物理約束條件對(duì)所述預(yù)測理論值進(jìn)行有效性驗(yàn)證和修正，生成滿足物理約束的最終理論值。

13、計(jì)算所述物理測量值與所述理論值之間的差異度，將所述差異度作為所述深度強(qiáng)化學(xué)習(xí)模型的獎(jiǎng)勵(lì)函數(shù)包括：

14、計(jì)算所述物理測量值與所述理論值之間的差異度，所述差異度通過均方根誤差和絕對(duì)誤差的加權(quán)組合得到，其中所述均方根誤差表征整體偏差水平，所述絕對(duì)誤差表征局部波動(dòng)程度，基于系統(tǒng)運(yùn)行狀態(tài)自適應(yīng)調(diào)整所述均方根誤差和所述絕對(duì)誤差的權(quán)重系數(shù)，將所述差異度構(gòu)建為所述深度強(qiáng)化學(xué)習(xí)模型的獎(jiǎng)勵(lì)函數(shù)。

15、基于所述獎(jiǎng)勵(lì)函數(shù)對(duì)所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行在線迭代訓(xùn)練，通過所述迭代訓(xùn)練更新所述深度強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)，使所述深度強(qiáng)化學(xué)習(xí)模型能夠適應(yīng)回絲量沖量稱重系統(tǒng)的動(dòng)態(tài)變化包括：

16、構(gòu)建對(duì)抗樣本生成器，所述對(duì)抗樣本生成器接收所述實(shí)時(shí)運(yùn)行數(shù)據(jù)，通過擾動(dòng)注入方式模擬回絲量沖量稱重系統(tǒng)的異常工況，生成對(duì)抗樣本；

17、將所述實(shí)時(shí)運(yùn)行數(shù)據(jù)和所述對(duì)抗樣本輸入所述深度強(qiáng)化學(xué)習(xí)模型，獲取所述深度強(qiáng)化學(xué)習(xí)模型的預(yù)測輸出，基于所述預(yù)測輸出計(jì)算所述獎(jiǎng)勵(lì)函數(shù)的數(shù)值，根據(jù)所述獎(jiǎng)勵(lì)函數(shù)的數(shù)值計(jì)算所述深度強(qiáng)化學(xué)習(xí)模型的參數(shù)梯度；

18、利用所述參數(shù)梯度對(duì)所述深度強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，通過交替訓(xùn)練方式分別針對(duì)所述實(shí)時(shí)運(yùn)行數(shù)據(jù)和所述對(duì)抗樣本進(jìn)行參數(shù)優(yōu)化，在保證預(yù)測精度的同時(shí)提升所述深度強(qiáng)化學(xué)習(xí)模型的防御能力；

19、對(duì)更新后的所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行在線性能評(píng)估，根據(jù)所述性能評(píng)估的結(jié)果綜合判斷所述深度強(qiáng)化學(xué)習(xí)模型是否滿足預(yù)設(shè)的優(yōu)化目標(biāo)，當(dāng)不滿足所述優(yōu)化目標(biāo)時(shí)，返回執(zhí)行所述對(duì)抗樣本生成步驟，繼續(xù)進(jìn)行迭代訓(xùn)練。

20、利用更新后的所述深度強(qiáng)化學(xué)習(xí)模型生成校正參數(shù)，根據(jù)所述校正參數(shù)對(duì)所述回絲量沖量稱重系統(tǒng)進(jìn)行在線動(dòng)態(tài)校正，實(shí)現(xiàn)所述回絲量沖量稱重系統(tǒng)的自適應(yīng)優(yōu)化包括：

21、利用更新后的深度強(qiáng)化學(xué)習(xí)模型處理所述實(shí)時(shí)運(yùn)行數(shù)據(jù)，分析回絲量沖量稱重系統(tǒng)的動(dòng)態(tài)特征，生成所述回絲量沖量稱重系統(tǒng)的初始校正參數(shù)；

22、將所述初始校正參數(shù)和所述實(shí)時(shí)運(yùn)行數(shù)據(jù)共同輸入所述深度強(qiáng)化學(xué)習(xí)模型，通過所述深度強(qiáng)化學(xué)習(xí)模型計(jì)算校正后的預(yù)測結(jié)果，基于所述預(yù)測結(jié)果與實(shí)際測量值之間的偏差評(píng)估所述初始校正參數(shù)的優(yōu)化方向，采用迭代訓(xùn)練方式持續(xù)更新所述初始校正參數(shù)，生成優(yōu)化后的校正參數(shù)；

23、利用所述深度強(qiáng)化學(xué)習(xí)模型構(gòu)建回絲量沖量稱重系統(tǒng)的驗(yàn)證模型，通過所述驗(yàn)證模型評(píng)估所述優(yōu)化后的校正參數(shù)在不同工況下的適應(yīng)性，根據(jù)所述適應(yīng)性確定所述優(yōu)化后的校正參數(shù)的最優(yōu)值；

24、將所述最優(yōu)值應(yīng)用于所述回絲量沖量稱重系統(tǒng)的在線動(dòng)態(tài)校正，實(shí)時(shí)調(diào)整所述回絲量沖量稱重系統(tǒng)的控制參數(shù)，當(dāng)系統(tǒng)運(yùn)行狀態(tài)發(fā)生顯著變化時(shí)，返回執(zhí)行所述深度強(qiáng)化學(xué)習(xí)模型處理實(shí)時(shí)運(yùn)行數(shù)據(jù)的步驟，實(shí)現(xiàn)所述回絲量沖量稱重系統(tǒng)的自適應(yīng)優(yōu)化。

25、利用所述深度強(qiáng)化學(xué)習(xí)模型構(gòu)建回絲量沖量稱重系統(tǒng)的驗(yàn)證模型，通過所述驗(yàn)證模型評(píng)估所述優(yōu)化后的校正參數(shù)在不同工況下的適應(yīng)性，根據(jù)所述適應(yīng)性確定所述優(yōu)化后的校正參數(shù)的最優(yōu)值包括：

26、將所述優(yōu)化后的校正參數(shù)和回絲量沖量稱重系統(tǒng)的運(yùn)行數(shù)據(jù)同時(shí)輸入驗(yàn)證模型，通過所述驗(yàn)證模型生成不同工況下的預(yù)測輸出；

27、基于所述預(yù)測輸出通過校正后的稱重?cái)?shù)據(jù)與實(shí)際測量值之間的均方根誤差獲得校正偏差，將所述校正偏差按照工況重要程度進(jìn)行加權(quán)組合，生成工況適應(yīng)性評(píng)價(jià)指標(biāo)；

28、根據(jù)所述工況適應(yīng)性評(píng)價(jià)指標(biāo)構(gòu)建校正參數(shù)評(píng)估函數(shù)，所述校正參數(shù)評(píng)估函數(shù)同時(shí)考慮工況適應(yīng)性評(píng)價(jià)指標(biāo)的數(shù)值大小和變化趨勢(shì)，將所述校正參數(shù)評(píng)估函數(shù)的計(jì)算結(jié)果輸入所述深度強(qiáng)化學(xué)習(xí)模型，基于所述深度強(qiáng)化學(xué)習(xí)模型的預(yù)測輸出對(duì)所述優(yōu)化后的校正參數(shù)進(jìn)行自適應(yīng)調(diào)整；

29、對(duì)自適應(yīng)調(diào)整后的校正參數(shù)進(jìn)行驗(yàn)證測試，當(dāng)所述工況適應(yīng)性評(píng)價(jià)指標(biāo)滿足預(yù)設(shè)指標(biāo)閾值要求且連續(xù)三次調(diào)整的參數(shù)變化量小于預(yù)設(shè)波動(dòng)范圍時(shí)，將當(dāng)前校正參數(shù)確定為最優(yōu)值。

30、本發(fā)明實(shí)施例的第二方面，提供卷煙機(jī)回絲量在線動(dòng)態(tài)沖量稱重系統(tǒng)，包括：

31、第一單元，用于采集卷煙機(jī)回絲量沖量稱重系統(tǒng)的實(shí)時(shí)運(yùn)行數(shù)據(jù)，利用所述實(shí)時(shí)運(yùn)行數(shù)據(jù)構(gòu)建深度強(qiáng)化學(xué)習(xí)模型，將所述實(shí)時(shí)運(yùn)行數(shù)據(jù)輸入所述深度強(qiáng)化學(xué)習(xí)模型，生成回絲量沖量稱重的理論值；

32、第二單元，用于實(shí)時(shí)獲取回絲量沖量稱重系統(tǒng)的物理測量值，計(jì)算所述物理測量值與所述理論值之間的差異度，將所述差異度作為所述深度強(qiáng)化學(xué)習(xí)模型的獎(jiǎng)勵(lì)函數(shù)；

33、第三單元，用于基于所述獎(jiǎng)勵(lì)函數(shù)對(duì)所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行在線迭代訓(xùn)練，通過所述迭代訓(xùn)練更新所述深度強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)，使所述深度強(qiáng)化學(xué)習(xí)模型能夠適應(yīng)回絲量沖量稱重系統(tǒng)的動(dòng)態(tài)變化；

34、第四單元，用于利用更新后的所述深度強(qiáng)化學(xué)習(xí)模型生成校正參數(shù)，根據(jù)所述校正參數(shù)對(duì)所述回絲量沖量稱重系統(tǒng)進(jìn)行在線動(dòng)態(tài)校正，實(shí)現(xiàn)所述回絲量沖量稱重系統(tǒng)的自適應(yīng)優(yōu)化。

35、本發(fā)明實(shí)施例的第三方面，提供一種電子設(shè)備，包括：

36、處理器；

37、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

38、其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行前述所述的方法。

39、本發(fā)明實(shí)施例的第四方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述所述的方法。

40、本技術(shù)的有益效果如下：

41、本發(fā)明通過深度強(qiáng)化學(xué)習(xí)模型對(duì)卷煙機(jī)回絲量沖量稱重系統(tǒng)進(jìn)行在線動(dòng)態(tài)校正，有效解決了傳統(tǒng)靜態(tài)校準(zhǔn)方法無法適應(yīng)工作環(huán)境變化和設(shè)備磨損等因素導(dǎo)致的測量偏差問題，提高了回絲量測量的準(zhǔn)確性和穩(wěn)定性。

42、本發(fā)明采用實(shí)時(shí)運(yùn)行數(shù)據(jù)與物理測量值之間的差異度作為獎(jiǎng)勵(lì)函數(shù)，實(shí)現(xiàn)了深度強(qiáng)化學(xué)習(xí)模型的自適應(yīng)優(yōu)化，使系統(tǒng)能夠根據(jù)實(shí)際工作狀態(tài)動(dòng)態(tài)調(diào)整校正參數(shù)，無需人工干預(yù)即可保持高精度測量，大幅提升了系統(tǒng)的自動(dòng)化水平。

43、本發(fā)明實(shí)現(xiàn)了回絲量沖量稱重系統(tǒng)的自適應(yīng)優(yōu)化，減少了人工校準(zhǔn)的頻率和時(shí)間成本，降低了維護(hù)難度，同時(shí)提升了卷煙生產(chǎn)過程中的質(zhì)量控制能力，對(duì)提高卷煙產(chǎn)品質(zhì)量穩(wěn)定性和降低生產(chǎn)成本具有顯著價(jià)值。