專利名稱：：數(shù)據(jù)流映射類連接查詢方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及數(shù)據(jù)流分析處理
技術(shù)領(lǐng)域：
，尤其涉及一種數(shù)據(jù)流映射類連接查詢方法和系統(tǒng)。
背景技術(shù)：
：隨著信息技術(shù)的飛速發(fā)展，一種新的被稱為數(shù)據(jù)流的應(yīng)用模型廣泛出現(xiàn)在眾多應(yīng)用領(lǐng)域，例如金融市場、網(wǎng)絡(luò)監(jiān)控、電訊數(shù)據(jù)管理和傳感器網(wǎng)絡(luò)等。數(shù)據(jù)流是一個(gè)按照時(shí)間遞增順序排列的無窮事件序列，其共同特點(diǎn)是不斷第產(chǎn)生、在時(shí)間維度上嚴(yán)格有序、并且其數(shù)值也在不斷的變化，因此數(shù)據(jù)流應(yīng)用對數(shù)據(jù)流查詢處理往往有很高的實(shí)時(shí)性要求。由于數(shù)據(jù)流與傳統(tǒng)的數(shù)據(jù)類型存在區(qū)別，所以在數(shù)據(jù)流中引入了滑動窗口以及界標(biāo)模型等數(shù)據(jù)模型，以滑動窗口作為流模型為例，數(shù)據(jù)流的連接查詢每次都是在兩個(gè)滑動窗口的數(shù)據(jù)中進(jìn)行查詢，每次都要將滑動窗口中的已查詢數(shù)據(jù)丟棄，并將新的數(shù)據(jù)插入到滑動窗口中然后再進(jìn)行查詢。映射類查詢是數(shù)據(jù)流與數(shù)據(jù)庫之間的混合連接查詢，其中數(shù)據(jù)庫表中的某些數(shù)據(jù)域是數(shù)據(jù)流中的某一個(gè)或多個(gè)元組數(shù)據(jù)域映射的詳細(xì)信息。以互聯(lián)網(wǎng)網(wǎng)絡(luò)安全事件分析為例，其基本的分析之一是需要隨時(shí)計(jì)算出當(dāng)前各地區(qū)蠕蟲傳播的態(tài)勢，因此要獲取某一個(gè)地區(qū)發(fā)生攻擊的次數(shù)。由于網(wǎng)絡(luò)安全事件數(shù)據(jù)規(guī)模比較大，且不間斷的產(chǎn)生，其通常以數(shù)據(jù)流的形式傳輸。網(wǎng)絡(luò)安全事件探針獲取的序列元素格式為〈源IP、目的IP、事件類型、事件時(shí)間、事件發(fā)生次數(shù).......>，可以知道網(wǎng)絡(luò)安全事件數(shù)據(jù)流中只有IP地址，沒有IP地址對應(yīng)的詳細(xì)地區(qū)信息，因此需要將該數(shù)據(jù)流與IP地址表進(jìn)行連接并查詢，才能獲得詳細(xì)的地區(qū)信息，從而獲得該地區(qū)攻擊次數(shù)的分析結(jié)果。上述應(yīng)用場景即為一種典型的數(shù)據(jù)流映射類連接查詢。目前傳統(tǒng)的數(shù)據(jù)流映射類連接查詢方法在每一次執(zhí)行過程中，都必須首先執(zhí)行待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，以建立數(shù)據(jù)連接，之后通過該數(shù)據(jù)連接進(jìn)行相應(yīng)查詢操作。由于上述數(shù)據(jù)連接建立過程速度較慢，致使后續(xù)查詢效率較低，實(shí)時(shí)性差；同時(shí)，在對數(shù)據(jù)流的某一個(gè)或多個(gè)元組數(shù)據(jù)域執(zhí)行多次映射類連接查詢時(shí)，需要多次建立上述數(shù)據(jù)連接，占用了較多的系統(tǒng)資源，也影響了查詢效率。
發(fā)明內(nèi)容為解決上述技術(shù)問題，本發(fā)明的目的在于提供一種數(shù)據(jù)流映射類連接查詢方法和系統(tǒng)，以提高其查詢效率，進(jìn)而提高查詢的實(shí)時(shí)性。為此，本發(fā)明實(shí)施例提供了如下技術(shù)方案一種數(shù)據(jù)流映射類連接查詢方法，在獲取到待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域之后，包括定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；4查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。優(yōu)選的，所述建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接，包括定義數(shù)據(jù)結(jié)構(gòu)，并將所述待查詢數(shù)據(jù)庫對應(yīng)表中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中；建立所述待查詢數(shù)據(jù)流與所述數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)連接。優(yōu)選的，在將所述詳細(xì)信息存儲到所述轉(zhuǎn)換數(shù)據(jù)流內(nèi)之前，還包括在所述目標(biāo)數(shù)據(jù)流的序列元素內(nèi)預(yù)定義存儲數(shù)據(jù)域；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，包括將所述詳細(xì)信息存儲到所述存儲數(shù)據(jù)域內(nèi)。優(yōu)選的，以所述待查詢數(shù)據(jù)流的一個(gè)滑動窗口為基本單位，查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。優(yōu)選的，在將所述詳細(xì)信息存儲到目標(biāo)數(shù)據(jù)流內(nèi)之后，還包括查詢所述目標(biāo)數(shù)據(jù)流，從其中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。相應(yīng)于上述方法，本發(fā)明還提供了一種數(shù)據(jù)流映射類連接查詢系統(tǒng)，包括查詢目標(biāo)獲取模塊，用于獲取待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域；目標(biāo)數(shù)據(jù)流建立模塊，用于定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；連接建立模塊，用于建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；第一查詢模塊，用于查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；數(shù)據(jù)流轉(zhuǎn)換模塊，用于將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。優(yōu)選的，所述數(shù)據(jù)流映射類連接查詢系統(tǒng)還包括數(shù)據(jù)結(jié)構(gòu)定義模塊，用于定義數(shù)據(jù)結(jié)構(gòu)，并將所述待查詢數(shù)據(jù)庫對應(yīng)表中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中；所述連接建立模塊，具體用于建立所述待查詢數(shù)據(jù)流與所述數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)連接。優(yōu)選的，所述目標(biāo)數(shù)據(jù)流的序列元素內(nèi)包括有預(yù)定義的存儲數(shù)據(jù)域；所述數(shù)據(jù)流轉(zhuǎn)換模塊，具體用于將所述詳細(xì)信息存儲到所述存儲數(shù)據(jù)域內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。優(yōu)選的，所述數(shù)據(jù)流映射類連接查詢系統(tǒng)還包括滑動窗口設(shè)置模塊，用于將所述查詢數(shù)據(jù)流設(shè)置為多個(gè)連續(xù)的滑動窗口；所述第一查詢模塊，用于以所述待查詢數(shù)據(jù)流的一個(gè)滑動窗口為基本單位，查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。所述數(shù)據(jù)流映射類連接查詢系統(tǒng)還包括第二查詢模塊，用于查詢所述目標(biāo)數(shù)據(jù)流，從所述存儲數(shù)據(jù)域中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。與現(xiàn)有技術(shù)相比，上述技術(shù)方案具有以下優(yōu)點(diǎn)本發(fā)明實(shí)施例所提供的技術(shù)方案中，將待查詢數(shù)據(jù)流轉(zhuǎn)換并替代為目標(biāo)數(shù)據(jù)流，由于所述目標(biāo)數(shù)據(jù)流中存儲有待查詢的詳細(xì)信息，因此后續(xù)查詢階段無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，在后續(xù)查詢階段只需對目標(biāo)數(shù)據(jù)流進(jìn)行簡單的查詢即可得到所述的詳細(xì)信息，能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。同時(shí)，在需要執(zhí)行多次映射類連接查詢時(shí)，無需多次建立上述數(shù)據(jù)連接，可以減少對系統(tǒng)資源的占用，提供查詢效率。為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為實(shí)施例一提供的數(shù)據(jù)流映射類連接查詢方法流程示意圖；圖2為實(shí)施例二提供的數(shù)據(jù)流映射類連接查詢系統(tǒng)結(jié)構(gòu)示意圖。具體實(shí)施例方式首先對實(shí)施例中出現(xiàn)的部分相關(guān)術(shù)語進(jìn)行詳細(xì)的解釋數(shù)據(jù)流一個(gè)數(shù)據(jù)流是一個(gè)按照時(shí)間遞增順序排列的無窮事件序列S=Is1,…，st,…}，St是時(shí)刻t出現(xiàn)的序列元素，假設(shè)St為一個(gè)元組(,，…，an)，則…^^為St的數(shù)據(jù)域?；瑒哟翱谠O(shè)T是一個(gè)時(shí)間長度，t>T是一個(gè)變化的時(shí)刻，則可稱s[t_T:t]為S的一個(gè)時(shí)間間隔為T的滑動窗口，其中t和T的單位相同，并且t為相對于S的起始觀測時(shí)刻的時(shí)間距離。結(jié)合
背景技術(shù)：
部分所述可知，當(dāng)遇到映射類連接查詢時(shí)，即設(shè)有數(shù)據(jù)流Sls1,…，sn,…}流入系統(tǒng)，且S每個(gè)序列元素的結(jié)構(gòu)為SiOvan),但是在S上序列元素的數(shù)據(jù)域中并沒有數(shù)據(jù)域^…^吣中某些屬性的詳細(xì)信息，則現(xiàn)有的連接查詢方法就必須首先與數(shù)據(jù)庫的表建立數(shù)據(jù)連接，然后進(jìn)行查詢并得到結(jié)果。具體的，將輸入的數(shù)據(jù)流S與保存在數(shù)據(jù)庫中的庫表R(b1;…，bm)進(jìn)行一個(gè)連接操作，即執(zhí)行SJoinR從而獲得數(shù)據(jù)域…吣中某些屬性的詳細(xì)信息。但是針對現(xiàn)有的問題是SJoinR的連接查詢速度比較慢，致使查詢效率較低，實(shí)時(shí)性差?；谏鲜鲅芯康幕A(chǔ)上，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)流映射類連接查詢方法，在獲取到待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域之后，包括定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。本發(fā)明實(shí)施例所提供的技術(shù)方案得到的目標(biāo)數(shù)據(jù)流中存儲有待查詢的詳細(xì)信息，因此后續(xù)查詢階段無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，在后續(xù)查詢階段只需對目標(biāo)數(shù)據(jù)流進(jìn)行簡單的查詢即可得到所述的詳細(xì)信息，能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。同時(shí)，在需要執(zhí)行多次映射類連接查詢時(shí)，無需多次建立上述數(shù)據(jù)連接，可以減少對系統(tǒng)資源的占用，提供查詢效率。以上是本申請的核心思想，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是本發(fā)明還可以采用其他不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣，因此本發(fā)明不受下面公開的具體實(shí)施例的限制。實(shí)施例一本實(shí)施例提供了一種數(shù)據(jù)流映射類連接查詢方法，如圖1所示，為該方法的一種流程示意圖，在獲取到待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域之后，包括以下步驟步驟S101，定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；根據(jù)待查詢數(shù)據(jù)流S定義一個(gè)新的數(shù)據(jù)流S’，以S’作為目標(biāo)數(shù)據(jù)流，S和S’具有相同的結(jié)構(gòu)，且S’中包括有待查詢數(shù)據(jù)流記載的全部數(shù)據(jù)信息。同時(shí)，還可以在S’的序列元素內(nèi)預(yù)定義存儲數(shù)據(jù)域，所述存儲數(shù)據(jù)域用于記錄后續(xù)查詢得到的詳細(xì)信息。當(dāng)然，所述詳細(xì)信息也可以以其他方式存儲到目標(biāo)數(shù)據(jù)流S’內(nèi)。以待查詢數(shù)據(jù)流S={S1;-,St,…}，St是時(shí)刻t出現(xiàn)的序列元素，且其格式為(,a2,…，an)為例，所述目標(biāo)數(shù)據(jù)流S’={S’…，S’t，…}，S’t是時(shí)刻t出現(xiàn)的序列元素，且其格式為(,，…，^vb1,…bm)，其中l(wèi)v"bm為所述預(yù)先定義的存儲數(shù)據(jù)域。步驟S102，建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；在執(zhí)行本步驟之前，可以首先將待查詢數(shù)據(jù)庫中對應(yīng)表一定的數(shù)據(jù)格式保存到系統(tǒng)的內(nèi)存中。具體的，可根據(jù)待查詢數(shù)據(jù)庫中對應(yīng)表R，定義一個(gè)數(shù)據(jù)結(jié)構(gòu)R’，并將所述待查詢數(shù)據(jù)庫對應(yīng)表R中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中R’；所述數(shù)據(jù)結(jié)構(gòu)中R’保存到系統(tǒng)的內(nèi)存中。在上述定義了數(shù)據(jù)結(jié)構(gòu)R’的基礎(chǔ)上，本步驟中，相應(yīng)的建立所述待查詢數(shù)據(jù)流S與所述數(shù)據(jù)結(jié)構(gòu)R’的數(shù)據(jù)連接即可。步驟S103，查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；當(dāng)獲取到流入系統(tǒng)的數(shù)據(jù)流S，并建立數(shù)據(jù)連接后，本步驟中選擇最優(yōu)的查找算法(二分法、哈希法等)與數(shù)據(jù)結(jié)構(gòu)R’(待查詢數(shù)據(jù)庫中對應(yīng)表)的連接，查詢獲取數(shù)據(jù)流S中序列元素的某些數(shù)據(jù)域在數(shù)據(jù)結(jié)構(gòu)R’中映射的詳細(xì)信息。由于數(shù)據(jù)流與傳統(tǒng)的數(shù)據(jù)類型存在區(qū)別，所以可以在待查詢數(shù)據(jù)流S中引入滑動窗口或界標(biāo)模型等數(shù)據(jù)模型，以滑動窗口作為流模型為例，數(shù)據(jù)流的連接查詢每次都是在兩個(gè)滑動窗口的數(shù)據(jù)中進(jìn)行查詢，每次都要將滑動窗口中的已查詢數(shù)據(jù)丟棄，并將新的數(shù)據(jù)插入到滑動窗口中然后再進(jìn)行查詢。本步驟中可以以所述待查詢數(shù)據(jù)流S的一個(gè)滑動窗口為基本單位，依次查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。步驟S104，將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。本步驟中將步驟S103中查詢到的結(jié)果(待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息)加入到所述目標(biāo)數(shù)據(jù)流S’中，并使用目標(biāo)數(shù)據(jù)流S’替換所述代查詢數(shù)據(jù)流S。結(jié)合步驟SlOl中預(yù)先定義的存儲數(shù)據(jù)域Ivbm，所述詳細(xì)信息可以保存到所述存儲數(shù)據(jù)域Ivbm中。在上述方法的基礎(chǔ)上，本實(shí)施例在步驟S104之后，還可以包括步驟S105，查詢所述目標(biāo)數(shù)據(jù)流，從其中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。由于所述目標(biāo)數(shù)據(jù)流中存儲有待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息，因此在查詢過程中，無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，只需對目標(biāo)數(shù)據(jù)流進(jìn)行相關(guān)查詢即可，相對比與現(xiàn)有技術(shù)，具有較高的查詢效率。本實(shí)施例提供的數(shù)據(jù)流映射類連接查詢方法中，將連接查詢劃分為數(shù)據(jù)流轉(zhuǎn)換和查詢過程兩個(gè)階段，在數(shù)據(jù)流轉(zhuǎn)換階段中，將查詢到的詳細(xì)信息(待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息)保存到目標(biāo)數(shù)據(jù)流中，將查詢數(shù)據(jù)流轉(zhuǎn)換并替代為目標(biāo)數(shù)據(jù)流，由于最終得到的目標(biāo)數(shù)據(jù)流中包括上述詳細(xì)信息，使后續(xù)查詢階段無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，在后續(xù)查詢階段只需對目標(biāo)數(shù)據(jù)流進(jìn)行簡單的查詢即可得到所述的詳細(xì)信息，能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。同時(shí)，在需要執(zhí)行多次映射類連接查詢時(shí)，無需多次建立上述數(shù)據(jù)連接，可以減少對系統(tǒng)資源的占用，提供查詢效率。實(shí)施例二相應(yīng)于上述實(shí)施例提供的數(shù)據(jù)流映射類連接查詢方法，本實(shí)施例提供了一種數(shù)據(jù)流映射類連接查詢系統(tǒng)，如圖2所示，該系統(tǒng)包括查詢目標(biāo)獲取模塊201，用于獲取待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域。目標(biāo)數(shù)據(jù)流建立模塊202，用于定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息。同時(shí)，所述目標(biāo)數(shù)據(jù)流中的序列元素中還可以包括預(yù)定義存儲數(shù)據(jù)域，所述存儲數(shù)據(jù)域用于記錄后續(xù)查詢得到的詳細(xì)信息。當(dāng)然，所述詳細(xì)信息也可以以其他方式存儲到目標(biāo)數(shù)據(jù)流內(nèi)。連接建立模塊203，用于建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接。所述待查詢數(shù)據(jù)流可以以設(shè)定的數(shù)據(jù)格式保存到系統(tǒng)的內(nèi)存中。因此該系統(tǒng)還可以包括數(shù)據(jù)結(jié)構(gòu)定義模塊206，用于定義數(shù)據(jù)結(jié)構(gòu)，并將所述待查詢數(shù)據(jù)庫對應(yīng)表中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中；在建立了所述數(shù)據(jù)結(jié)構(gòu)后。所述連接建立模塊203，通過選用的具體算法建立所述待查詢數(shù)據(jù)流與所述數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)連接。第一查詢模塊204，用于查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。由于數(shù)據(jù)流與傳統(tǒng)的數(shù)據(jù)類型存在區(qū)別，所以可以在待查詢數(shù)據(jù)流S中引入滑動窗口或界標(biāo)模型等數(shù)據(jù)模型，因此該系統(tǒng)還可以包括滑動窗口設(shè)置模塊，用于將所述查詢數(shù)據(jù)流設(shè)置為多個(gè)連續(xù)的滑動窗口；此時(shí)。所述第一查詢模塊204，用于以所述待查詢數(shù)據(jù)流的一個(gè)滑動窗口為基本單位，查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。數(shù)據(jù)流轉(zhuǎn)換模塊205，用于將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。當(dāng)所述數(shù)據(jù)流的序列元素內(nèi)包括有預(yù)定義的存儲數(shù)據(jù)域時(shí)，所述數(shù)據(jù)流轉(zhuǎn)換模塊205，具體用于將所述詳細(xì)信息存儲到所述存儲數(shù)據(jù)域內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。上述系統(tǒng)完成了待查詢數(shù)據(jù)流到目標(biāo)數(shù)據(jù)流的轉(zhuǎn)換和替代，得到的目標(biāo)數(shù)據(jù)流中包含了所述待查詢數(shù)據(jù)域在數(shù)據(jù)庫表中映射的詳細(xì)信息。在上述方案的基礎(chǔ)上，本實(shí)施例提供的數(shù)據(jù)流映射類連接查詢系統(tǒng)還可以包括第二查詢模塊207，用于查詢所述目標(biāo)數(shù)據(jù)流，從所述存儲數(shù)據(jù)域中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。本實(shí)施例提供的數(shù)據(jù)流映射類連接查詢系統(tǒng)可以將查詢數(shù)據(jù)流轉(zhuǎn)換并替代為目標(biāo)數(shù)據(jù)流，由于目標(biāo)數(shù)據(jù)流中存儲有待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息，因此后續(xù)查詢階段無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，在后續(xù)查詢階段只需對目標(biāo)數(shù)據(jù)流進(jìn)行簡單的查詢即可得到所述的詳細(xì)信息，能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。同時(shí)，在需要執(zhí)行多次映射類連接查詢時(shí)，無需多次建立上述數(shù)據(jù)連接，可以減少對系統(tǒng)資源的占用，提供查詢效率。實(shí)施例三本實(shí)施例將結(jié)合一個(gè)具體的應(yīng)用實(shí)例，對上述實(shí)施例提供的技術(shù)方案進(jìn)行詳細(xì)的說明以互聯(lián)網(wǎng)網(wǎng)絡(luò)安全事件分析為例，其基本的分析之一是需要隨時(shí)計(jì)算出當(dāng)前各地區(qū)蠕蟲傳播的態(tài)勢，因此要獲取某一個(gè)地區(qū)發(fā)生攻擊的次數(shù)。由于網(wǎng)絡(luò)安全事件數(shù)據(jù)規(guī)模比較大，且不間斷的產(chǎn)生，其通常以數(shù)據(jù)流的形式傳輸。網(wǎng)絡(luò)安全事件探針獲取的序列元素格式為〈源IP、目的IP、事件類型、事件時(shí)間、事件發(fā)生次數(shù).......>，可以知道網(wǎng)絡(luò)安全事9件數(shù)據(jù)流中只有IP地址，沒有IP地址對應(yīng)的詳細(xì)地區(qū)信息，因此需要將該數(shù)據(jù)流與IP地址表進(jìn)行連接并查詢，才能獲得詳細(xì)的地區(qū)信息。該實(shí)例中，源IP或目的IP即為待查詢的數(shù)據(jù)域，地區(qū)信息即為該數(shù)據(jù)域在IP地址中映射的詳細(xì)信息。為實(shí)現(xiàn)上述目的，本實(shí)施例提供的解決方案如下使用TelegraphCQ流處理系統(tǒng)作為網(wǎng)絡(luò)安全數(shù)據(jù)的獲取中的流處理模塊，并將連接查詢分為兩個(gè)流水處理階段。首先，要先將存儲有IP地址和地址信息映射關(guān)系的IP庫表以一定的數(shù)據(jù)格式保存到系統(tǒng)的內(nèi)存中，所以預(yù)先定義一個(gè)存儲IP庫的數(shù)據(jù)結(jié)構(gòu)，如表1所示typedefstructip—table{doubleip—start;//開始IPdoubleip—end;//結(jié)束IPcharcountry[20]；//IP的國家信息charprovince[20]；//IP的省份信息charcity[20];//IP的城市信息}ip_addr;表1其次，在"TelegraphCQ的數(shù)據(jù)預(yù)處理是在Wrapper模塊中進(jìn)行的，所以在Wrapper模塊中將建立好索引結(jié)構(gòu)的IP庫以上述預(yù)定義的數(shù)據(jù)結(jié)構(gòu)保存在流系統(tǒng)的內(nèi)存中。然后，對于輸入的數(shù)據(jù)流進(jìn)行相應(yīng)的轉(zhuǎn)換。本步驟同樣是在TelegraphCQ系統(tǒng)的Wrapper模塊中執(zhí)行，并將相應(yīng)的方法加入到Wrapper模塊，通過相應(yīng)的查詢算法，獲取到待查詢的數(shù)據(jù)域中IP地址對應(yīng)的詳細(xì)地址，并將所述詳細(xì)地址存儲到輸出的目標(biāo)數(shù)據(jù)流中。通過上述操作，之后就可以在需要查詢分析處理相關(guān)地址信息時(shí)，便可直接對輸出的目標(biāo)數(shù)據(jù)流進(jìn)行查詢，無需再次建立與的IP庫表的連接，因此該方案能夠有效的提供查詢效率，進(jìn)而可以提高接后續(xù)系統(tǒng)數(shù)據(jù)分析效率。本發(fā)明實(shí)施例提供的技術(shù)方案中，可以將查詢數(shù)據(jù)流轉(zhuǎn)換并替代為目標(biāo)數(shù)據(jù)流，由于目標(biāo)數(shù)據(jù)流中存儲有待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息，因此后續(xù)查詢階段無需再次建立待查詢數(shù)據(jù)流和數(shù)據(jù)庫中對應(yīng)表之間的連接操作，在后續(xù)查詢階段只需對目標(biāo)數(shù)據(jù)流進(jìn)行簡單的查詢即可得到所述的詳細(xì)信息，能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。同時(shí)，在需要執(zhí)行多次映射類連接查詢時(shí)，無需多次建立上述數(shù)據(jù)連接，可以減少對系統(tǒng)資源的占用，提供查詢效率。本說明書中各個(gè)部分采用遞進(jìn)的方式描述，每個(gè)部分重點(diǎn)說明的都是與其他部分的不同之處，各個(gè)部分之間相同相似部分互相參見即可。對所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實(shí)施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。權(quán)利要求1.一種數(shù)據(jù)流映射類連接查詢方法，其特征在于，在獲取到待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域之后，包括定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接，包括定義數(shù)據(jù)結(jié)構(gòu)，并將所述待查詢數(shù)據(jù)庫對應(yīng)表中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中；建立所述待查詢數(shù)據(jù)流與所述數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)連接。3.根據(jù)權(quán)利要求1所述的方法，其特征在于在將所述詳細(xì)信息存儲到所述轉(zhuǎn)換數(shù)據(jù)流內(nèi)之前，還包括在所述目標(biāo)數(shù)據(jù)流的序列元素內(nèi)預(yù)定義存儲數(shù)據(jù)域；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，包括將所述詳細(xì)信息存儲到所述存儲數(shù)據(jù)域內(nèi)。4.根據(jù)權(quán)利要求1所述的方法，其特征在于以所述待查詢數(shù)據(jù)流的一個(gè)滑動窗口為基本單位，查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，在將所述詳細(xì)信息存儲到目標(biāo)數(shù)據(jù)流內(nèi)之后，還包括查詢所述目標(biāo)數(shù)據(jù)流，從其中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。6.一種數(shù)據(jù)流映射類連接查詢系統(tǒng)，其特征在于，包括查詢目標(biāo)獲取模塊，用于獲取待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域；目標(biāo)數(shù)據(jù)流建立模塊，用于定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；連接建立模塊，用于建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；第一查詢模塊，用于查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；數(shù)據(jù)流轉(zhuǎn)換模塊，用于將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括數(shù)據(jù)結(jié)構(gòu)定義模塊，用于定義數(shù)據(jù)結(jié)構(gòu)，并將所述待查詢數(shù)據(jù)庫對應(yīng)表中記載的數(shù)據(jù)存儲到所述數(shù)據(jù)結(jié)構(gòu)中；所述連接建立模塊，具體用于建立所述待查詢數(shù)據(jù)流與所述數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)連接。8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于所述目標(biāo)數(shù)據(jù)流的序列元素內(nèi)包括有預(yù)定義的存儲數(shù)據(jù)域；所述數(shù)據(jù)流轉(zhuǎn)換模塊，具體用于將所述詳細(xì)信息存儲到所述存儲數(shù)據(jù)域內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。9.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括滑動窗口設(shè)置模塊，用于將所述查詢數(shù)據(jù)流設(shè)置為多個(gè)連續(xù)的滑動窗口；所述第一查詢模塊，用于以所述待查詢數(shù)據(jù)流的一個(gè)滑動窗口為基本單位，查詢所述滑動窗口內(nèi)的待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息。10.根據(jù)權(quán)利要求6至9任一項(xiàng)所述的系統(tǒng)，其特征在于，還包括第二查詢模塊，用于查詢所述目標(biāo)數(shù)據(jù)流，從所述存儲數(shù)據(jù)域中獲取其存儲的詳細(xì)信息；所述詳細(xì)信息即為所述待查詢數(shù)據(jù)域在待查詢數(shù)據(jù)庫對應(yīng)表中映射的詳細(xì)信息。全文摘要本發(fā)明實(shí)施例公開了一種數(shù)據(jù)流映射類連接查詢方法和系統(tǒng)，所述方法在獲取到待查詢數(shù)據(jù)流、并設(shè)定該數(shù)據(jù)流的待查詢數(shù)據(jù)域之后，包括定義與所述待查詢數(shù)據(jù)流具有相同結(jié)構(gòu)的目標(biāo)數(shù)據(jù)流，所述目標(biāo)數(shù)據(jù)流中包括所述待查詢數(shù)據(jù)流記載的數(shù)據(jù)信息；建立所述待查詢數(shù)據(jù)流與待查詢數(shù)據(jù)庫中對應(yīng)表的數(shù)據(jù)連接；查詢所述待查詢數(shù)據(jù)域在所述待查詢數(shù)據(jù)庫的對應(yīng)表中映射的詳細(xì)信息；將所述詳細(xì)信息存儲到所述目標(biāo)數(shù)據(jù)流內(nèi)，并使用目標(biāo)數(shù)據(jù)流替換所述代查詢數(shù)據(jù)流。上述方案能夠有效的提高查詢效率，保證后續(xù)數(shù)據(jù)處理的實(shí)時(shí)性。文檔編號G06F17/30GK102163219SQ201110075359公開日2011年8月24日申請日期2011年3月28日優(yōu)先權(quán)日2011年3月28日發(fā)明者吳泉源,周斌,楊樹強(qiáng),滕猛,王凱,王懷民,羅榮凌,舒琦,賈焰,趙輝,金松昌,陳志坤,韓偉紅申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)