一種面向實時數據流處理的可視化流程管理系統與方法
【專利摘要】本發明公開一種面向實時數據流處理的面向實時數據流處理的可視化流程管理系統與方法，以所見即所得的方式，讓用戶通過拖動不同的數據模塊、編輯模塊屬性、按序連接模塊實現數據流處理和流程管理，有效將物理流程映射到虛擬環境，以實現對物理流程的仿真和模擬，加快流程設計。本發明不僅提供了一種流程管理的模擬環境，還提供了實時數據采集與處理的方法，通過模板的選擇、組合和屬性編輯，快速構建數據處理的邏輯，讓業務邏輯更直觀，便于服務的理解和實現，提高業務開發與發展能力。
【專利說明】
一種面向實時數據流處理的可視化流程管理系統與方法
技術領域
[0001]本發明屬于計算機軟件系統領域，尤其涉及一種面向實時數據流處理的可視化流程管理系統與方法。
【背景技術】
[0002]TCP-Transmiss1n Control Protocol，傳輸控制協議。
[0003]MQ-Message Queue，消息隊列。
[0004]AMQP-Advanced Message Queuing Protocol高級消息隊列協議。
[0005]MQTT-Message Queuing Telemetry Transport，消息隊列遙測傳輸協議。
[0006]Websocket-—種 HTML5 實時通信協議。
[0007]HTTP-HyperText Transmiss1n Protocol，用戶數據報協議。
[0008]AP1-Applicat1n Programming Interface應用程序接口。
[0009]隨著計算機及其相關技術的發展，特別是物聯網、大數據技術的發展，近年來出現了大量以數據流為信息承載模式的應用系統，這些數據流一般都具有實時性、連續性、順序性以及數據量龐大等特點，使用傳統的數據庫管理系統已經不能滿足數據流處理的要求，且離線的數據處理與管理方式也不再滿足應用于服務的要求。各種適應于不同應用的系統也在不斷涌現。當前，實時數據流處理與管理被廣泛應用于工業生產、經濟信息處理等領域。數據已不僅僅拘泥于文件、數據庫等傳統的靜態形式，一種連續、無界、不定速度的流式數據(即數據流)已經出現在越來越多的應用領域。如:網絡監控、網絡流量管理、入侵檢測、傳感器的數據處理、生產線管理、股市預測、新聞發布等。
[0010]而流程管理(flow management)，是一種以規范化的組合構造端到端的業務和數據處理服務，以持續地提高工作效能與業務績效為目的的系統化方法，除了常見面向商業管理和機構、組織的流程管理，還有很多與生產活動、科學研究活動等的流程管理。這些流程管理都包含操作性的定位描述，指的是流程分析、流程定義與重定義、資源分配、時間安排、流程質量與效率測評、流程優化等。因為流程管理是為了客戶需求而設計的，因而這種流程會隨著內外環境的變化而需要被優化。
[0011 ]但是目前，沒有或缺少有效的面向實時數據流的流程管理，一些流程不可視或可視化沒有與數據流對應起來，因此不能對工作人員形成直觀的印象，這加大了流程優化的難度，也不適應物聯網大數據的應用要求。

【發明內容】

[0012]為解決上述問題，本發明提供了一種面向實時數據流處理的可視化流程管理系統與方法。本發明通過設計實時數據處理的過程和系統，并讓數據處理過程與可視化的流程實現映射，通過可視化、易操作的流程管理方法實現對物理流程的模擬和實際數據處理過程的創建，提高了業務的編輯能力。
[0013]為達到上述技術效果，本發明的技術方案是:
[0014]一種面向實時數據流處理的可視化流程管理系統，包括可視化數據處理單元;所述可視化數據處理單元包括可視化處理模塊、數據源模塊、數據處理模塊組和數據輸出模塊;數據源模塊連接數據處理模塊組，數據處理模塊組連接數據輸出模塊;數據源模塊、數據處理模塊組和數據輸出模塊形成一個流程;流程內的數據單向流通;數據處理模塊組由串聯或并聯設置的數據處理模塊組成，數據處理模塊的數量多I;數據源模塊用于生成數據;數據處理模塊用于處理數據;數據輸出模塊用于輸出或展現數據;可視化處理模塊用于生成數據源模塊和/或數據處理模塊和/或數據輸出模塊和/或整個流程的可視化界面。
[0015]進一步的改進，每個數據處理模塊包括一個或多個數據輸入接口和一個或多個數據輸出接口；數據處理模塊之間通過數據輸入接口和數據輸出接口串聯或并聯連接;數據源模塊包括一個或多個數據輸出接口 ；數據輸出模塊包括一個或多個數據輸入接口。
[0016]進一步的改進，數據源模塊與數據處理模塊之間、數據處理模塊之間及數據處理模塊與數據輸出模塊之間的連接，均在各模塊的對應程序通過消息協議與消息隊列服務系統建立連接后的消息交互中形成。
[0017]進一步的改進，所述可視化界面包括流程編輯界面、數據源模塊的屬性編輯界面、數據處理模塊的屬性編輯界面和數據輸出模塊的屬性編輯界面;數據源模塊的屬性、數據處理模塊的屬性和數據輸出模塊的屬性均設有系統接入鑒權信息。
[0018]進一步的改進，數據源模塊的屬性包括數據源模塊的數據源名稱、數據源模板、應用標識、應用密鑰、數據主題、數據輸出、數據源內容編輯區;應用標識和應用密鑰為一組系統接入鑒權信息，數據源模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理。
[0019]進一步的改進，數據處理模塊的屬性包括數據處理模塊的單元名稱、單元模板、系統接入鑒權信息、數據輸入、數據輸出和程序編輯區域;系統接入鑒權信息包括應用標識和應用密鑰;數據處理模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理。
[0020]進一步的改進，數據輸出模塊的屬性包括數據輸出模塊的單元名稱、數據輸出模板、系統接入鑒權信息、數據輸入;系統接入鑒權信息包括應用標識和應用密鑰;數據輸出模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據和進行相應的數據處理。
[0021]一種面向實時數據流處理的可視化流程管理方法，包括如下步驟:步驟一、數據源模塊對應的應用程序接收實際的物理數據源的數據或自身生成數據；
[0022]步驟二、數據源模塊將實際的物理數據源的數據或自身生成數據發布到與數據源模塊相連數據處理模塊;數據處理模塊將實際的物理數據源的數據或自身生成數據單向依次傳遞到數據輸出模塊；
[0023]步驟三、可視化處理模塊生成數據源模塊和/或數據處理模塊和/或數據輸出模塊和/或整個流程的可視化界面;可視化界面包括流程編輯界面、數據源模塊的屬性編輯界面、數據處理模塊的屬性編輯界面和數據輸出模塊的屬性編輯界面
[0024]步驟四、在可視化界面編輯優化流程管理過程。
[0025]進一步的改進，所述步驟一中，數據源模塊對應的應用程序接收實際的物理數據源是通過訂閱了消息隊列服務系統某個特定的消息主題;數據處理模塊之間通過訂閱與發布在可視化流程管理系統內唯一的同一隨機消息主題的方式實現數據的單向流通。
[0026]進一步的改進，所述步驟三中，數據源模塊的屬性包括數據源模塊的數據源名稱、數據源模板、應用標識、應用密鑰、數據主題、數據輸出、數據源內容編輯區；應用標識和應用密鑰為一組系統接入鑒權信息，數據源模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理;數據處理模塊的屬性包括數據處理模塊的單元名稱、單元模板、系統接入鑒權信息、數據輸入、數據輸出和程序編輯區域;系統接入鑒權信息包括應用標識和應用密鑰;數據處理模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理；
[0027]數據輸出模塊的屬性包括數據輸出模塊的單元名稱、數據輸出模板、系統接入鑒權信息、數據輸入;系統接入鑒權信息包括應用標識和應用密鑰;數據輸出模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據和進行相應的數據處理。
[0028]本發明提供了一種面向實時數據流的可視化的流程管理系統與服務，設計了實時數據處理的過程和系統，讓數據處理過程與可視化的流程實現映射，通過可視化、易操作的流程管理服務實現對物理流程的模擬和實際數據處理過程的創建，提高業務的編輯能力，以所見即所得的方式，有效將物理流程映射到虛擬環境，實現對物理流程的仿真和模擬，加快流程設計;本發明不僅提供了一種流程管理的模擬環境，還提供了實時數據采集與處理的方法，通過模板的選擇、組合和屬性編輯，快速構建數據處理的邏輯，讓業務邏輯更直觀，便于服務的理解和實現。
【附圖說明】
[0029]圖1為本發明的流程結構示意圖；
[0030]圖2為流程對應的系統實現和數據處理過程示意圖；
[0031]圖3為上游的數據處理模塊與下游的數據處理模塊的連接方式示意圖；
[0032]圖4為可視化界面的結構示意圖；
[0033]圖5為數據源模塊的屬性編輯界面；
[0034]圖6為數據處理模塊的屬性編輯界面；
[0035]圖7為數據輸出模塊的屬性編輯界面。
【具體實施方式】
[0036]以下通過【具體實施方式】并且結合附圖對本發明的技術方案作具體說明。
[0037]實施例
[0038]如圖1所示，本發明所涉及可視化流程為一系列的可視化數據處理模塊的創建與組合，每個數據流程包含一個數據源(數據輸入)模塊/單元，一個或多個數據處理模塊/單元和一個數據輸出模塊/單元，這些模塊按順序連接起來形成一個流程。每個模塊以及模塊所組成的流程呈現在一個可視化界面(UI)上，而該可視化界面的的實現方式包括但不限于HTML頁面、運行在計算機終端上的視窗軟件等形式。每個數據處理模塊對應一個應用程序，該應用程序為一個消息隊列(MQ)服務系統的客戶端。如圖2所示，一個流程的所有數據處理模塊對應的應用程序通過系統實現所采用的消息協議與消息隊列服務系統建立連接，系統實現的消息協議包括但不限于AMQP、MQTT、WebS0Cket、TCP等。相連的兩個數據處理模塊通過發布和訂閱同一個消息主題實現數據在兩個模塊間的流動，如圖3所示，處于上游的數據處理模塊將處理后的數據發布到某個主題Topic，而下游的數據處理模塊訂閱同一個主題Topic，該Topic在兩個數據處理模塊連接時隨機生成，且該Topic在系統范圍內是唯一的。
[0039]如圖2所示，根據流程中各個模塊被連接的順序，每個模塊對應的應用程序將按順序逐一對數據進行處理。根據流程是否包含一個實際的物理數據源，整個流程的數據處理過程分如下兩種情況:
[0040]A.有實際的物理數據源:
[0041]1.實際的物理數據源(一個運行在某種終端設備或計算機系統上的應用程序)與消息隊列服務系統建立連接，并將數據發布(Pub)到某個主題TopicO，具體的主題內容和表達方式本發明不作限制；
[0042]2.數據源模塊對應的應用程序訂閱主題TopicO，并接收到物理數據源發布的數據；
[0043]3.數據源模塊對應的應用程序將在第2步中接收到的數據發布到一個隨機消息主題Topic，并由與其連接的下一個數據處理模塊接收到；
[0044]4.數據處理模塊對數據進行相應的處理并通過下一個隨機消息主題Topic發布給與之連接的下一個數據處理模塊，如此往復直到數據到達數據輸出模塊。
[0045]B.沒有實際的物理數據源:
[0046]1.數據源模塊對應的應用程序生成一個數據(按某種規則生成，或隨機生成，或由用戶指定，見5.2節)，并將其發布到與下一個數據處理模塊連接時產生的消息主題Topic，并由與其連接的下一個數據處理模塊接收到；
[0047]2.數據處理模塊對數據進行相應的處理并通過下一個隨機消息主題Topic發布給與之連接的下一個數據處理模塊，如此往復直到數據到達數據輸出模塊。
[0048]可視化流程管理服務
[0049]在本發明所涉及系統與服務通過一個可視化界面提供給用戶，如圖4所示，在該服務界面內，提供了各種數據處理模塊的模板，用戶通過鼠標或手指拖動的方式(基于計算機屏幕或帶觸摸屏的電腦或手持終端)將相應的數據處理單元模板拖動到流程編輯區，實現一個數據處理模塊/單元實例的創建。每個數據處理模塊都包含一些列的屬性，且有相應的屬性編輯界面，數據處理模塊的屬性編輯界面可以通過鼠標雙擊對應的數據處理模塊調出，或在拖動模板到編輯區域時自動出現，具體的屬性界面出現方式，本發明不作規定。
[0050]圖5為數據源模塊的屬性編輯界面示例，其屬性包括但不限于:數據源名稱、數據源模板、應用標識、應用密鑰、數據主題、數據輸出、數據源內容編輯區等。其中，用戶可以通過列表選擇數據源模板;應用標識和應用密鑰為一組系統接入鑒權信息，數據源對應的應用程序需要這組系統接入鑒權信息接入消息隊列服務系統，用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，并獲取數據和進行相應的數據處理。在本發明中，系統接入鑒權信息可以為一組應用標識和應用密鑰，也可以為其他信息，這與具體系統實現有關，且與之相對應的認證鑒權方法不在本發明范圍內。數據主題用于指定數據源希望接收的物理數據源相關信息;數據輸出為一個已經與之連接的下一個數據處理模塊的標識;數據源內容編輯區是一個可選區域，用戶用于自定義模擬數據的生成。
[0051]圖6為處于一個流程中間環節的數據處理模塊的屬性編輯界面示例，其屬性包括但不限于:數據處理模塊的單元名稱、單元模板、系統接入鑒權信息、數據輸入、數據輸出、程序編輯區域等。其中，系統接入鑒權信息讓數據處理模塊接入消息隊列服務系統，用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，并獲取數據和進行相應的數據處理。在本發明中，系統接入鑒權信息可以為一組應用標識和應用密鑰，也可以為其他信息，這與具體系統實現有關，且與之相對應的認證鑒權方法不在本發明范圍內。數據輸入為與該數據處理模塊連接的上游模塊的標識;數據輸出為與該數據處理模塊連接的下游模塊的標識;程序編輯區域為一個可選屬性，用于編輯處理模塊的業務邏輯，若包含了一段業務邏輯程序，則該程序將被系統提交給系統的邏輯引擎執行，通過相應的輸入消息主題接收到數據，并處理后發布到輸出消息主題。
[0052]圖7為數據輸出模塊屬性編輯界面示例，其屬性包括但不限于:數據輸出模塊的單元名稱、數據輸出模板、系統接入鑒權信息、數據輸入等。其中，系統接入鑒權信息讓數據處理模塊接入消息隊列服務系統，用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，并獲取數據和進行相應的處理。在本發明中，系統接入鑒權信息可以為一組應用標識和應用密鑰，也可以為其他信息，這與具體系統實現有關，且與之相對應的認證鑒權方法不在本發明范圍內。數據輸入為與之連接的上游模塊的標識。
[0053]以上各模塊屬性中的系統接入鑒權信息可以由用戶顯性輸入(如圖5、6、7)，也可以由系統自動隱性生成。
[0054]數據源模塊只包含一個或多個數據輸出接口；數據處理模塊包含一個或多個數據輸入接口和數據輸出接口 ；數據輸出模塊只包含一個或多個數據輸入接口。所有模塊中的數據輸入接口和數據輸入接口都具有相同的性質:一個模塊的輸出接口只能與下一個模塊的輸入接口連接(比如從一個模塊的輸出接口拖動一條曲線到另一個模塊的輸入接口)，當一個模塊與另一個模塊實現連接，系統將自動隨機生成一個唯一的消息主題Topic，上游模塊對應的應用程序將數據發布到該主題，而下游模塊訂閱該主題，以接收來自上游模塊的數據，實現數據的按序流動。
[0055]本發明的效果
[0056]本發明提供一種面向實時數據流的可視化的流程管理系統與服務，設計了實時數據處理的過程和系統，讓數據處理過程與可視化的流程實現映射，通過可視化、易操作的流程管理服務實現對物理流程的模擬和實際數據處理過程的創建，提高業務的編輯能力，以所見即所得的方式，有效將物理流程映射到虛擬環境，實現對物理流程的仿真和模擬，加快流程設計。本發明不僅提供了一種流程管理的模擬環境，還提供了實時數據采集與處理的方法，通過模板的選擇、組合和屬性編輯，快速構建數據處理的邏輯，讓業務邏輯更直觀，便于服務的理解和實現。
[0057]上述僅為本發明的一個具體導向實施方式，但本發明的設計構思并不局限于此，凡利用此構思對本發明進行非實質性的改動，均應屬于侵犯本發明的保護范圍的行為。
【主權項】
1.一種面向實時數據流處理的可視化流程管理系統，其特征在于，包括可視化數據處理單元;所述可視化數據處理單元包括可視化處理模塊、數據源模塊、數據處理模塊組和數據輸出模塊;數據源模塊連接數據處理模塊組，數據處理模塊組連接數據輸出模塊;數據源模塊、數據處理模塊組和數據輸出模塊形成一個流程;流程內的數據單向流通;數據處理模塊組由串聯或并聯設置的數據處理模塊組成，數據處理模塊的數量多I;數據源模塊用于生成數據;數據處理模塊用于處理數據;數據輸出模塊用于輸出或展現數據;可視化處理模塊用于生成數據源模塊和/或數據處理模塊和/或數據輸出模塊和/或整個流程的可視化界面。2.如權利要求1所述的面向實時數據流處理的可視化流程管理系統，其特征在于，每個數據處理模塊包括一個或多個數據輸入接口和一個或多個數據輸出接口；數據處理模塊之間通過數據輸入接口和數據輸出接口串聯或并聯連接;數據源模塊包括一個或多個數據輸出接口 ；數據輸出模塊包括一個或多個數據輸入接口。3.如權利要求1所述的面向實時數據流處理的可視化流程管理系統，其特征在于，數據源模塊與數據處理模塊之間、數據處理模塊之間及數據處理模塊與數據輸出模塊之間的連接，均在各模塊的對應程序通過消息協議與消息隊列服務系統建立連接后的消息交互中形成。4.如權利要求1所述的面向實時數據流處理的可視化流程管理系統，其特征在于，所述可視化界面包括流程編輯界面、數據源模塊的屬性編輯界面、數據處理模塊的屬性編輯界面和數據輸出模塊的屬性編輯界面;數據源模塊的屬性、數據處理模塊的屬性和數據輸出模塊的屬性均設有系統接入鑒權信息。5.如權利要求4所述的面向實時數據流處理的可視化流程管理系統，其特征在于，數據源模塊的屬性包括數據源模塊的數據源名稱、數據源模板、應用標識、應用密鑰、數據主題、數據輸出、數據源內容編輯區;應用標識和應用密鑰為一組系統接入鑒權信息，數據源模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理。6.如權利要求4所述的面向實時數據流處理的可視化流程管理系統，其特征在于，數據處理模塊的屬性包括數據處理模塊的單元名稱、單元模板、系統接入鑒權信息、數據輸入、數據輸出和程序編輯區域;系統接入鑒權信息包括應用標識和應用密鑰;數據處理模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統;用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理。7.如權利要求4所述的面向實時數據流處理的可視化流程管理系統，其特征在于，數據輸出模塊的屬性包括數據輸出模塊的單元名稱、數據輸出模板、系統接入鑒權信息、數據輸入;系統接入鑒權信息包括應用標識和應用密鑰;數據輸出模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據和進行相應的數據處理。8.—種面向實時數據流處理的可視化流程管理方法，其特征在于，包括如下步驟: 步驟一、數據源模塊對應的應用程序接收實際的物理數據源的數據或自身生成數據； 步驟二、數據源模塊將實際的物理數據源的數據或自身生成數據發布到與數據源模塊相連數據處理模塊;數據處理模塊將實際的物理數據源的數據或自身生成數據單向依次傳遞到數據輸出模塊； 步驟三、可視化處理模塊生成數據源模塊和/或數據處理模塊和/或數據輸出模塊和/或整個流程的可視化界面;可視化界面包括流程編輯界面、數據源模塊的屬性編輯界面、數據處理模塊的屬性編輯界面和數據輸出模塊的屬性編輯界面 步驟四、在可視化界面編輯優化流程管理過程。9.如權利要求8所述的面向實時數據流處理的可視化流程管理方法，其特征在于，所述步驟一中，數據源模塊對應的應用程序接收實際的物理數據源是通過訂閱了消息隊列服務系統某個特定的消息主題;數據處理模塊之間通過訂閱與發布在可視化流程管理系統內唯一的同一隨機消息主題的方式實現數據的單向流通。10.如權利要求8所述的面向實時數據流處理的可視化流程管理方法，其特征在于，所述步驟三中，數據源模塊的屬性包括數據源模塊的數據源名稱、數據源模板、應用標識、應用密鑰、數據主題、數據輸出、數據源內容編輯區；應用標識和應用密鑰為一組系統接入鑒權信息，數據源模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理;數據處理模塊的屬性包括數據處理模塊的單元名稱、單元模板、系統接入鑒權信息、數據輸入、數據輸出和程序編輯區域;系統接入鑒權信息包括應用標識和應用密鑰;數據處理模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據、發布數據和進行相應的數據處理； 數據輸出模塊的屬性包括數據輸出模塊的單元名稱、數據輸出模板、系統接入鑒權信息、數據輸入;系統接入鑒權信息包括應用標識和應用密鑰;數據輸出模塊對應的應用程序通過接入鑒權信息接入消息隊列服務系統；用戶需要填寫正確的系統接入鑒權信息才能讓相應的模塊接入消息隊列服務系統，獲取數據和進行相應的數據處理。
【文檔編號】G06F9/455GK105893116SQ201610225178
【公開日】2016年8月24日
【申請日】2016年4月12日
【發明人】猶杰
【申請人】深圳前海大數點科技有限公司