本發(fā)明涉及數(shù)據(jù)同步和加密，具體提供一種加密的數(shù)據(jù)同步方法及裝置。
背景技術(shù)：
1、隨著信息技術(shù)的迅猛發(fā)展，數(shù)據(jù)同步需求在各類應(yīng)用系統(tǒng)中變得愈發(fā)重要。傳統(tǒng)的數(shù)據(jù)同步方法通常在數(shù)據(jù)量較大時效率低下，且容易造成網(wǎng)絡(luò)擁堵。基于時間戳的增量同步則通過比較數(shù)據(jù)的時間戳來確定需要同步的增量數(shù)據(jù)，但在處理并發(fā)操作和數(shù)據(jù)修改頻繁的場景時，容易出現(xiàn)數(shù)據(jù)不一致的問題。此外，現(xiàn)有技術(shù)中通常對數(shù)據(jù)本身進(jìn)行同步，當(dāng)數(shù)據(jù)量大時，對帶寬和數(shù)據(jù)庫存儲空間的要求非常高，導(dǎo)致系統(tǒng)資源消耗過大。數(shù)據(jù)加密是保障數(shù)據(jù)安全傳輸?shù)闹匾侄巍３Ｒ姷募用芩惴ò▽ΨQ加密算法(如aes)和非對稱加密算法(如rsa)。
2、然而，這些傳統(tǒng)的加密算法在特定的應(yīng)用場景中可能存在性能瓶頸或安全性不足的問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明是針對上述現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)的加密的數(shù)據(jù)同步方法。
2、本發(fā)明進(jìn)一步的技術(shù)任務(wù)是提供一種設(shè)計合理，安全適用的加密的數(shù)據(jù)同步裝置。
3、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
4、一種加密的數(shù)據(jù)同步方法，具有如下步驟：
5、s1、數(shù)據(jù)庫的觸發(fā)器或二進(jìn)制日志binlog來記錄所有需要同步的表的行級變化；
6、s2、行級記錄解析模塊將行級記錄轉(zhuǎn)換為sql語句；
7、s3、消息隊列存儲模塊將步驟s2處理生成的語句發(fā)送至消息隊列；
8、s4、數(shù)據(jù)加密解密模塊進(jìn)行混合加密算法的設(shè)計；
9、s5、數(shù)據(jù)傳輸模塊中采用ssl/tls協(xié)議對數(shù)據(jù)進(jìn)行加密傳輸；
10、s6、遠(yuǎn)端服務(wù)首先接收來自發(fā)送端的壓縮數(shù)據(jù)。
11、進(jìn)一步的，在步驟s1中，對于支持觸發(fā)器的數(shù)據(jù)庫在相關(guān)表上設(shè)置insert、update和delete觸發(fā)器，以捕捉每一行數(shù)據(jù)的變化；
12、對于不支持觸發(fā)器的數(shù)據(jù)庫，分析數(shù)據(jù)庫的日志來獲取行級變化，分析生成的事務(wù)日志，成功提取出對關(guān)鍵表的insert、update和delete操作，記錄需要同步的數(shù)據(jù)的變化。
13、進(jìn)一步的，在步驟s2中，首先，要進(jìn)行信息的提取與處理，接收到行級記錄后，先對數(shù)據(jù)進(jìn)行清洗和預(yù)處理，去除無效的信息，然后從記錄中提取出關(guān)鍵的字段和操作類型對于提取出的字段值，進(jìn)行必要的格式轉(zhuǎn)換和數(shù)據(jù)類型匹配，確保生成的sql語句準(zhǔn)確無誤，接著是模板與規(guī)則的應(yīng)用。
14、進(jìn)一步的，進(jìn)行模板與規(guī)則應(yīng)用時，根據(jù)預(yù)先定義好的模板和規(guī)則，將提取和處理后的行級記錄信息轉(zhuǎn)換為相應(yīng)的sql語句，針對不同的操作類型，分別設(shè)置對應(yīng)的模板和規(guī)則；
15、對于插入操作，依照提取的字段值和表結(jié)構(gòu)，按照指定格式生成插入語句；
16、對于更新操作，依據(jù)更新前后的字段值差異生成準(zhǔn)確的更新語句；
17、對于刪除操作，依據(jù)記錄的主鍵字段值生成刪除語句；
18、在解析和轉(zhuǎn)換過程中，設(shè)置完善的異常處理機(jī)制，當(dāng)遇到無法解析或轉(zhuǎn)換的行級記錄時，進(jìn)行錯誤日志記錄，并采取適當(dāng)?shù)娜蒎e措施，在解析過程中遇到某個字段值的格式異常，系統(tǒng)會記錄該錯誤，并嘗試使用默認(rèn)值進(jìn)行處理，使整體同步流程持續(xù)進(jìn)行。
19、進(jìn)一步的，在步驟s3中，將數(shù)據(jù)發(fā)送至消息隊列中，緩沖數(shù)據(jù)并按先進(jìn)先出的原則處理。
20、進(jìn)一步的，在步驟s4中，混合加密為結(jié)合對稱加密算法和非對稱加密算法，首先，監(jiān)聽消息隊列，實(shí)時獲取sql記錄，使用對稱加密算法對要傳輸?shù)膕ql記錄進(jìn)行加密；
21、接著，使用非對稱加密算法對對稱加密的密鑰進(jìn)行加密傳輸，密鑰的生成運(yùn)用隨機(jī)數(shù)生成器和哈希函數(shù)，采用加密存儲的方式只有經(jīng)過授權(quán)的模塊和進(jìn)程能夠訪問和使用密鑰，且定期更新密鑰；
22、加密和解密的流程為：
23、在數(shù)據(jù)傳輸前，先獲取對稱加密密鑰，對sql記錄進(jìn)行加密，然后，獲取非對稱加密的公鑰，對對稱加密密鑰進(jìn)行加密，并將加密后的密鑰和加密后的sql記錄一同發(fā)送，在遠(yuǎn)端服務(wù)端，首先使用非對稱加密的私鑰解密對稱加密密鑰，接著使用解密后的對稱加密密鑰解密sql記錄，即先使用aes算法對其加密，再用rsa算法加密aes密鑰，在遠(yuǎn)端進(jìn)行相反的解密操作，從而獲取原始數(shù)據(jù)。
24、進(jìn)一步的，在步驟s5中，數(shù)據(jù)使用gzip壓縮算法對傳輸?shù)臄?shù)據(jù)進(jìn)行壓縮，傳輸壓縮后的數(shù)據(jù)，使用哈希算法生成數(shù)據(jù)校驗(yàn)值，同時傳輸數(shù)據(jù)的校驗(yàn)值，接收端在接收到數(shù)據(jù)后，通過比較傳輸前后校驗(yàn)值的一致性來驗(yàn)證數(shù)據(jù)的完整性，確保數(shù)據(jù)在傳輸過程中未被篡改。
25、進(jìn)一步的，在步驟s6中，使用gzip算法進(jìn)行解壓，通過預(yù)設(shè)的哈希算法對解壓后的數(shù)據(jù)生成校驗(yàn)值，并與傳輸過程中附帶的校驗(yàn)值進(jìn)行比較，校驗(yàn)值一致則表明數(shù)據(jù)完整性未受影響，驗(yàn)證通過；
26、然后，使用預(yù)先配置的非對稱加密私鑰對加密的對稱加密密鑰進(jìn)行解密，獲取對稱加密密鑰，接著，使用對稱加密密鑰對加密的sql記錄進(jìn)行解密，得到原始的可執(zhí)行sql語句，對解密后的sql語句進(jìn)行語法解析，仔細(xì)檢查語句的合法性和完整性，檢查字段值的類型和格式，確保與數(shù)據(jù)庫表結(jié)構(gòu)匹配，驗(yàn)證sql語句的操作類型與預(yù)期一致；
27、經(jīng)過語法解析無誤的sql語句被提交到數(shù)據(jù)庫執(zhí)行引擎進(jìn)行同步執(zhí)行，執(zhí)行結(jié)果被反饋給發(fā)送端，發(fā)送端在接收到反饋后，根據(jù)需要進(jìn)行進(jìn)一步處理。
28、一種加密的數(shù)據(jù)同步裝置，包括：至少一個存儲器和至少一個處理器；
29、所述至少一個存儲器，用于存儲機(jī)器可讀程序；
30、所述至少一個處理器，用于調(diào)用所述機(jī)器可讀程序，執(zhí)行一種加密的數(shù)據(jù)同步方法。
31、本發(fā)明的一種加密的數(shù)據(jù)同步方法及裝置和現(xiàn)有技術(shù)相比，具有以下突出的有益效果：
32、本發(fā)明在記錄行級變化時，通過數(shù)據(jù)庫自帶的觸發(fā)器或二進(jìn)制日志，能準(zhǔn)確捕捉數(shù)據(jù)變化，對支持和不支持觸發(fā)器的數(shù)據(jù)庫均有應(yīng)對之策，且優(yōu)化了觸發(fā)器以降低對性能的影響，提高了日志分析效率。行級記錄解析模塊實(shí)現(xiàn)了精準(zhǔn)的信息提取與處理，應(yīng)用模板與規(guī)則生成準(zhǔn)確的sql語句，并具備完善的異常處理機(jī)制。消息隊列存儲模塊支持主流消息隊列擴(kuò)展，保證了數(shù)據(jù)傳遞和處理順序的一致性。
33、在數(shù)據(jù)處理和傳輸過程中，加密解密模塊采用混合加密策略，保證了密鑰的安全性和數(shù)據(jù)保密性。數(shù)據(jù)傳輸模塊利用ssl/tls協(xié)議加密、gzip壓縮和哈希算法校驗(yàn)，提高了傳輸效率、降低了成本并確保了數(shù)據(jù)完整性。遠(yuǎn)端服務(wù)處理包括解壓、解密、語法解析和同步執(zhí)行，嚴(yán)格遵循事務(wù)原則，保證了數(shù)據(jù)的一致性和完整性，執(zhí)行結(jié)果反饋給發(fā)送端以便進(jìn)一步處理。
1.一種加密的數(shù)據(jù)同步方法，其特征在于，具有如下步驟：
2.根據(jù)權(quán)利要求1所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s1中，對于支持觸發(fā)器的數(shù)據(jù)庫在相關(guān)表上設(shè)置insert、update和delete觸發(fā)器，以捕捉每一行數(shù)據(jù)的變化；
3.根據(jù)權(quán)利要求1所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s2中，首先，要進(jìn)行信息的提取與處理，接收到行級記錄后，先對數(shù)據(jù)進(jìn)行清洗和預(yù)處理，去除無效的信息，然后從記錄中提取出關(guān)鍵的字段和操作類型對于提取出的字段值，進(jìn)行必要的格式轉(zhuǎn)換和數(shù)據(jù)類型匹配，確保生成的sql語句準(zhǔn)確無誤，接著是模板與規(guī)則的應(yīng)用。
4.根據(jù)權(quán)利要求3所述的一種加密的數(shù)據(jù)同步方法，其特征在于，進(jìn)行模板與規(guī)則應(yīng)用時，根據(jù)預(yù)先定義好的模板和規(guī)則，將提取和處理后的行級記錄信息轉(zhuǎn)換為相應(yīng)的sql語句，針對不同的操作類型，分別設(shè)置對應(yīng)的模板和規(guī)則；
5.根據(jù)權(quán)利要求4所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s3中，將數(shù)據(jù)發(fā)送至消息隊列中，緩沖數(shù)據(jù)并按先進(jìn)先出的原則處理。
6.根據(jù)權(quán)利要求5所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s4中，混合加密為結(jié)合對稱加密算法和非對稱加密算法，首先，監(jiān)聽消息隊列，實(shí)時獲取sql記錄，使用對稱加密算法對要傳輸?shù)膕ql記錄進(jìn)行加密；
7.根據(jù)權(quán)利要求6所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s5中，數(shù)據(jù)使用gzip壓縮算法對傳輸?shù)臄?shù)據(jù)進(jìn)行壓縮，傳輸壓縮后的數(shù)據(jù)，使用哈希算法生成數(shù)據(jù)校驗(yàn)值，同時傳輸數(shù)據(jù)的校驗(yàn)值，接收端在接收到數(shù)據(jù)后，通過比較傳輸前后校驗(yàn)值的一致性來驗(yàn)證數(shù)據(jù)的完整性，確保數(shù)據(jù)在傳輸過程中未被篡改。
8.根據(jù)權(quán)利要求7所述的一種加密的數(shù)據(jù)同步方法，其特征在于，在步驟s6中，使用gzip算法進(jìn)行解壓，通過預(yù)設(shè)的哈希算法對解壓后的數(shù)據(jù)生成校驗(yàn)值，并與傳輸過程中附帶的校驗(yàn)值進(jìn)行比較，校驗(yàn)值一致則表明數(shù)據(jù)完整性未受影響，驗(yàn)證通過；
9.一種加密的數(shù)據(jù)同步裝置，其特征在于，包括：至少一個存儲器和至少一個處理器；