国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發 > 綜合 > 正文

減少每次的同步數據量以此來提高同步效率

2024-07-21 02:43:26
字體:
來源:轉載
供稿:網友
說到同步數據,大最為較關心的就是如何盡可能地減少每次的同步數據量,以此來提高同步效率,降低對網絡帶寬的消耗。針對大批量的數據同步,這一點是必須注意的。解決這個問題的關鍵點在于獲取差異數據,這也就是說,我們僅僅同步變化了的數據,至于沒有變化的,就不再同步。下文中,我們將介紹減少每次同步數據量的6個方法:

1.日期欄位(時間戳)

一般情況下,在設計表的時候,添加兩個日期欄位,CreatedOn, ChangedOn, 分別記錄數據產生時間和變更時間。同步程序可以根據兩個欄位來獲取差異的數據。

2.Trigger

它可以實時獲取差異數據, Trigger使用較為容易,不需要改變原表的結構,可以只監視部分的欄位變更,以獲取你需要的變化數據,并對數據做二次處理。Trigger需要你對源表的維護狀況比較了解,否則可能產生一些意想不到的影響。

3.SQLServer本身的復制服務

本身支持多種數據同步方式,功能很強大,但是使用上會比較復雜,而且如果在同步過程中,需要對差異數據做二次處理,似乎無路可走。

這種方法可以保證隨時獲取某個時間段內新增(變化)的數據,同時對于追蹤問題也大有裨益。但是缺陷也不少,其一是這兩個欄位完全由開發人員控制,切實保證這兩個欄位每次都得到正確的維護比較困難,其二是不容易確定你下一次取差異數據的基準時間。

4.timestamp欄位

timestamp可以理解為行的版本號,每次插入或更新包含 timestamp 列的行時,timestamp 列中的值均會更新。利用這一特性,建立一個包含源表ID和timestamp值的基準表,就可以找到哪些數據發生變化了,每次同步成功后,再更新該基準表。

5.監控并記錄基于某數據對象的所有DML語句

這種方法,我沒有具體嘗試過,但是一個很不錯的思路,如果網絡狀況糟糕,而且對數據實時性要求不高,可以采用。具體做法是每天定時獲取你需要同步表的所有update, delete語句,然后定點打包發送到另外一臺服務器執行。

6.使用BINARY_CHECKSUM

這個是我認為最簡單的方法。BINARY_CHECKSUM是SQLServer內置的一個聚合函數,它可以針對一行,或者某些列計算出一個值,如果它計算的那些列中的任何一個值發生變化,那么那個計算值就會發生變化。這樣我只要建立一個包含源表ID和最初計算值的基準表,就可以找到哪些數據發生變化了,每次同步成功后,再更新該基準表。與方法4不同的是,BINARY_CHECKSUM可以只監視部分變化的欄位,這一點又類似于Trigger了。

使用BINARY_CHECKSUM有些限制,因為它在計算中會忽略具有不可比數據類型的列(不可比數據類型是 text、ntext、image、cursor 以及基本類型為前4個數據類型之一的 sql_variant),所以如果要監控這些列變化,這種方法是不起作用的。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 综艺| 滕州市| 海门市| 栖霞市| 西充县| 屏山县| 乌恰县| 潮州市| 镇远县| 宣武区| 塔城市| 红原县| 双城市| 阿巴嘎旗| 顺昌县| 双柏县| 南汇区| 大丰市| 沽源县| 勃利县| 富裕县| 嘉祥县| 贺兰县| 宁德市| 瓮安县| 固原市| 民县| 怀集县| 卢湾区| 山西省| 巴林左旗| 巴彦县| 南丹县| 颍上县| 江川县| 河津市| 逊克县| 额济纳旗| 沐川县| 安丘市| 卫辉市|