本發明涉及生產調度，尤其是涉及一種分布式阻塞多產品間歇過程生產調度方法。

背景技術：

1、間歇過程生產調度在優化生產效率方面具有重要意義，尤其是在化工、制藥等行業。該調度過程旨在通過合理安排產品的加工順序，以達到性能指標最優化。阻塞約束是間歇生產過程中的常見約束條件，在缺乏緩沖區的情況下，當加工過程中一臺設備完成任務但下一臺設備未空閑時，產品會被阻塞在當前機器上，導致生產效率降低。在分布式制造環境中，這一問題更加突出，因為生產任務通常會分配到多個地理位置不同的工廠進行加工，且受到序列相關準備時間的影響，分布式阻塞調度問題變得更加困難，因此，提出一種合適的調度方法來解決分布式阻塞多產品間歇過程生產調度問題至關重要。

2、cn114442580a公開了一種基于強化遺傳算法的流水車間調度方法及系統，該方法包括：確定車間設備、生產工序和生產加工任務的基本信息，其中，基本信息包括車間設備數量、生產工序道數、待加工的工件種類及對應數量，以及每道工序加工時間；確定車間調度目標、約束條件，并建立流水車間調度模型，其中，車間調度目標為最大完工時間最小；通過強化學習參數自適應對遺傳算法中的參數進行改進，并獲取改進算法；通過改進算法對流水車間調度模型進行求解，以獲得符合車間調度目標的最優解，并輸出生產調度方案。然而，類似于該方法的現有技術都關注提高解決方案的適用性，通過設計適當的全局和局部搜索策略，在探索和開發之間取得平衡，均沒有提出具體的度量來衡量調度問題的種群多樣性。而在智能算法更新解的過程中，種群多樣性是一個關鍵指標。它可以有效地平衡算法的探索和開發能力，確保得到高質量的解決方案，同時防止過早收斂到局部最優。適當的多樣性指標有助于平衡探索與開發過程，優化性能指標，提升調度效率。因此，亟需一種考慮多樣性指標的求解方法來解決分布式阻塞多產品間歇過程生產調度問題。

技術實現思路

1、本發明的目的是為了克服上述現有技術存在的缺陷，設計一種多樣性指標來衡量種群的多樣性變化，并針對含有序列相關準備時間的分布式阻塞多產品間歇過程生產調度問題，以最小化最大完工時間為目標，提出一種基于種群多樣性的q學習算法（populationdiversity-based?q-learning?algorithm，pdq）來獲取較優的調度方案。

2、本發明的目的可以通過以下技術方案來實現：

3、一種分布式阻塞多產品間歇過程生產調度方法，包括以下步驟：

4、建立以最小化最大完工時間為目標的分布式阻塞多產品間歇過程生產調度模型；

5、采用基于種群多樣性的強化學習算法求解所述模型以獲得調度方案，其中，在求解過程中，通過計算種群中個體之間的加工序列距離確定多樣性指標距離異質比例，每一個體代表一個調度解，為工廠對應的加工序列的集合，基于所述多樣性指標距離異質比例更新智能體的狀態，并確定對應的獎勵。

6、所述模型的約束包括：

7、訂單順序約束：每個訂單必須在另一個訂單完工之后立即開始加工，或者作為工廠的第一個訂單進行加工；

8、后續訂單約束：每個訂單最多有一個后續訂單；

9、虛擬訂單約束：利用與工廠數量相同的虛擬訂單將所有訂單分配到工廠中；

10、先后順序約束：一個訂單不能同時在另一個訂單的前面和后面加工；

11、訂單與設備之間的時間約束：一個訂單只能在其前一個訂單離開第一臺設備后才能開始加工，且，一個訂單只能在其離開前一臺設備后才能開始在當前設備進行加工；

12、分布式阻塞下訂單在設備上的離開時間約束：一個訂單在當前設備的離開時間不早于前一個訂單在下一設備的離開時間與兩個訂單之間的準備時間之和；

13、最大完工時間約束：最大完工時間大于等于訂單在最后一臺設備上的離開時間。

14、所述訂單與設備之間的時間約束包括：

15、訂單只能在其前一個訂單離開第一臺設備后才能開始加工：

16、；其中，表示訂單 u在第一臺設備上的離開時間；表示訂單 u的前一個訂單 v在第一臺設備上的離開時間；表示訂單 u對應的產品在第一臺設備上的加工時間；表示二進制變量，若訂單 v在訂單 u完工之后立即開始加工，則為1，否則為0；表示訂單 u緊接著在訂單 v之后加工時，訂單 u和訂單 v對應的產品之間的序列相關準備時間； m表示預設的足夠大的數；

17、訂單只能在其離開前一臺設備后才能開始在當前設備進行加工：

18、；其中，表示訂單 u在第 k臺設備上的離開時間，表示訂單 u對應的產品在第 k臺設備上的加工時間。

19、所述分布式阻塞下訂單在設備上的離開時間約束表示為：

20、；其中，表示訂單 u在第 k臺設備上的離開時間；表示訂單 v在第 k+1臺設備上的離開時間；表示二進制變量，若訂單 v在訂單 u完工之后立即開始加工，則為1，否則為0；表示訂單 u緊接著在訂單 v之后加工時，訂單 u和訂單 v對應的產品之間的序列相關準備時間； m表示預設的足夠大的數。

21、所述種群中個體之間的加工序列距離的計算包括以下步驟：

22、計算將第一個體中每一工廠對應的加工序列轉變為第二個體中相同工廠對應的加工序列所需要的操作次數；

23、基于所述操作次數確定第一個體和第二個體之間每一工廠的加工序列距離；

24、對第一個體和第二個體中所有工廠的加工序列距離求和得到兩個個體之間的加工序列距離。

25、所述操作次數的計算方法為：

26、記第一個體和第二個體分別為和，其中表示個體的第 f個工廠的加工序列，表示個體的第 f個工廠的加工序列， f為工廠個數；則將加工序列中前個訂單構成的序列轉變為加工序列中前個訂單構成的序列所需要的操作次數的計算過程如下：

27、將空加工序列轉換為空加工序列所需的操作次數為0，即；

28、將空加工序列轉換為加工序列中前個訂單構成的序列所需的操作次數為，即；其中表示加工序列中的訂單索引；

29、將加工序列中前個訂單構成的序列轉換成空加工序列所需的操作次數為，即；其中表示加工序列中的訂單索引；

30、將加工序列中位置上的訂單轉變為加工序列中位置上的訂單所需要的操作次數為，若加工序列中位置上的訂單和加工序列中位置上的訂單相同，則，否則；

31、則將加工序列中前個訂單構成的序列轉換為加工序列中前個訂單構成的序列的操作次數為：；其中，表示先刪除加工序列中的一個訂單，然后計算將加工序列的剩余部分轉換為加工序列所需要的操作次數；表示先向加工序列中插入一個訂單，然后計算將新的加工序列轉換為加工序列所需要的操作次數；表示先將加工序列中位置上的訂單轉變為加工序列中位置上的訂單，然后繼續將加工序列中其他位置上的訂單轉變為加工序列中對應位置上的訂單所需要的操作次數。

32、所述第一個體和第二個體之間每一工廠的加工序列距離為：；其中，表示將加工序列轉變為加工序列所需要的操作次數，表示加工序列中的訂單個數，表示加工序列中的訂單個數。

33、所述多樣性指標距離異質比例的計算包括以下步驟：

34、基于種群中每兩個個體之間的加工序列距離計算種群中所有個體之間的平均加工序列距離 apsd：；其中， np為種群中個體的數量；

35、計算種群的多樣性指標距離異質比例 ppd：；其中， b為訂單總數。

36、所述基于種群多樣性的強化學習算法包括如下步驟：

37、c1，設置強化學習算法的相關參數和終止條件；

38、c2，采用啟發式規則和隨機分配策略初始化種群；

39、c3，將種群中的個體進行規范化調整，計算當前種群的多樣性指標距離異質比例；

40、c4，采用結合多樣性指標距離異質比例和q學習的搜索策略，指導種群進化過程；

41、c5，判斷個體是否滿足終止條件，若滿足終止條件，則輸出最優調度方案；若不滿足終止條件，則返回步驟c3。

42、所述結合多樣性指標距離異質比例和q學習的搜索策略具體為：

43、基于巡航法和挖掘法定義q學習的動作集，其中，所述巡航法具體為：對于種群中的每個解，選擇關鍵工廠中加工時間最長的一個訂單和目標函值最小的工廠中一個加工時間最小的訂單，將這兩個訂單進行交換；所述挖掘法具體為：對于種群中的最優解，找到其中訂單最多的一個工廠并隨機選擇一個訂單，將該訂單插入到訂單數最少的一個工廠中的最佳位置上，若該調度解的關鍵工廠序號改變，則從新的關鍵工廠中取出一個訂單并插入到目標函數值最小的工廠中，若該調度解的關鍵工廠序號沒有改變，則從原關鍵工廠中取出一個訂單并插入到一個隨機的工廠中；

44、定義q學習的狀態集，其包括四個狀態，狀態的轉變和智能體獲得的獎勵取決于執行動作后種群的質量和多樣性是否提高，其中，種群的質量基于目標函數值衡量，若目標函數值降低，則代表種群質量提高，否則代表種群質量降低，種群的多樣性基于多樣性指標距離異質比例衡量，若多樣性指標距離異質比例提高，則種群多樣性提高，否則種群多樣性降低；根據種群質量和多樣性的變化情況確定執行動作后的智能體的狀態及其對應獎勵值；

45、定義算法的初始狀態，在每次迭代中，根據貪婪策略選擇一個動作，在收到獎勵并更新狀態后，更新q表中的q值。

46、與現有技術相比，本發明具有以下有益效果：

47、1、本發明通過建立含有序列相關準備時間的分布式阻塞多產品間歇過程生產調度問題的數學模型，可以對生產過程進行更精確的預測和控制，有助于提升生產系統的可靠性。此外，通過數學模型可以對調度方案的正確性與可行性進行驗證，并對調度方法進行進一步優化。

48、2、本發明通過設計多樣性指標距離異質比例來反應算法在進化過程中種群多樣性的變化情況，有助于指導算法的結構設計，從而控制探索和開發的平衡，提高算法的整體性能。

49、3、本發明將q學習策略與多樣性指標相結合，利用種群多樣性的變化情況，結合q學習方法，來幫助選擇最合適的局部搜索策略，這可以使算法在進化過程中的不同階段選擇最合適的搜索策略，有助于提高算法的搜索效率，確保調度方案的高效性。