本文目錄一覽：
mysql數據庫同步問題
mysql有事務的,沒有問題.
最佳答案
.介紹
現在的網站隨着訪問量的增加,單一服務器無法承擔巨大的訪問量,有沒有什麼方便快捷的方式解決這個問題呢,答案是”有”!
比如建立服務器群,進行均衡負載.
但是如果要解決像電信網通這樣的互訪問題(中國網民的悲哀..),這個解決辦法就無能為力了!
要解決這個問題最方便快捷的方式就是建立鏡像網站!由訪問者自己選擇適合自己網絡的速度最快的網站!這樣即可以解決線路問題,又可以解決訪問量問題!
2.網站同步的數據分類
網站數據基本分為兩類:
一類是文件,比如HTML,ASP,PHP等網頁文件,或者RAR,ZIP,RM,AVI等可下載文件!
要實現他們的同步很簡單,用FTP同步軟件就可以了!至於哪幾個我會在後面做詳細介紹.
一類是數據庫數據文件,比如MySQL,SQLServer等等!
數據庫同步的方法也很多,最簡單的辦法只是將數據庫目錄同步一下就OK了!
在後面我也會做詳細講解!
3.網站文件的同步
在這裡用到的主要工具就是FTP,網站文件同步分兩種情況,一種是本地到遠程,一種是遠程到遠程(FXP)!第一種不用說了,第二種遠程到遠程即FXP,支持它的軟件也很多,但是真正適合多網站同步鏡像的卻不多!
下面我介紹幾個我認為不錯的軟件!
1.首先我要推薦的是國產的FTP軟件”網絡傳神”,功能非常強大,特別是在網站的同步鏡像方面,可惜的是,這款非常經典的軟件已經不再更新了,最後更新時間是2003年3月,最後一個版本是3.12!雖然如此還是非常好用的!下面是一段官方的簡介:
網絡傳神完全吸收了Cuteftp和UpdataNow的全部功能，並且增加了其他軟件沒有的多項功能：支持網站互傳；支持網站同步 (UPDATANOW)；支持後台上傳(多線程上傳多個文件)；可同時打開多個站點；多站點計划上傳功能，支持鏡像站點；支持宏操作支持計劃操作；支持文件高級比較上傳；支持目錄隱藏過濾（為用ForntPage作主頁的朋友帶來福音）；服務器自動識別功能；資源管理器瀏覽方式；可以自定義命令；支持 RFC959標準具有更好的穩定性；完備的信息返回機制及錯誤監控機制完整的中文幫助。
2.第二款是由ReGet同一開發公司製作的專用於網站同步的軟件”WebSynchronizer”,用這款軟件,你才會體驗到網站同步的方便快捷,簡單容易.最新版本是1.3.62,網上能找到XX的最後版本是1.1版!下面是一段簡介:
檔案同步化工具-WebSynchronizer，由知名續傳軟件ReGet之軟件出版公司所推出，是網站同步化、檔案鏡像、檔案備份的絕佳工具，可以執行下列主要工作：1)本機資料夾及遠程資料夾的同步化；2)兩台遠程計算機中的資料夾同步化；3)兩個本機資料之同步化。
3.其他還有一些軟件如同步快梭(AutoSyncFTP),也能實現簡單的網站同步,不過,這款軟件非常不穩定,而且2001年就已經停止開發.所以,不用考慮了!還有上次有朋友提到的SiteMirro,由於網上找不到可以用的版本,所以沒有辦法測試!
網絡傳神網站同步鏡像使用傻瓜指南
上次在網絡技術版已經發過一個簡單的使用方法介紹,如果嫌我羅嗦(o(_)o),大家可以參考那篇文章:
第一次運行網絡傳神的時候,它會讓你選擇”完全模式”和”啟動模式”,要使用網站同步必須選擇”完全模式”.
進入主界面:你會發現這個軟件非常像FlashGet,要使用網站同步功能,點擊軟件左下角的”FTP客戶端”.
現在你要做的就是添加你的鏡像母站和需要鏡像的網站:文件-站點管理,在裡面添加你需要同步的幾個的FTP服務器,下面我將介紹具體設置(主要是鏡像母站的設置)
母站設置最重要的地方就是”比較目錄(網站同步)”:
1.拖動傳送
就是手動拖動傳送時候的傳送方式,非拖動方式不受影響,因為母站的更新基本上是從本地目錄進行的,所以建議這裡選擇第二項”只上傳不同的文件”,鏡像站點這裡可以忽略
2.磁盤比較設置
這個功能非常有用,可以通過文件長度和文件日期進行文件差異對比.
你還可以設置本地目錄過濾和服務器目錄過濾,非常靈活!
好了,添加好母站和鏡像站之後,我們來設置同步:
如果是添加鏡像站,則會跳出下面的母站選擇窗口:
設置好多個鏡像站點之後,返回主界面就可以進行網站同步了:
注意事項：
一般不要改動鏡像站點前面的“對鉤”標誌，因為鏡像站點同步的原理是“根據主站點的同步信息更新鏡像站點”，如果景象站點沒有更新那麼必須將該鏡像站點單獨同步。
注意一般應該“選項窗口”-〉“FTP客戶端”-〉“計劃”中的“最大連接個數”和“最大線程個數”一般不要改動保持為“1”。
如果同步時某個站點出錯同步沒有完全完成只需按“計劃”窗口中的按鈕單獨執行某個站點的傳送即可。
再介紹一下網站鏡像同步中必要的功能,定時同步,這樣你就只要做好母站的更新,其他的讓網絡傳神幫你完成:
點擊設置:
進入網絡傳神的選項設置窗口,選中FTP客戶端中的定時同步
定時下載：在指定的時段內下載文件。
定時上傳：在指定的時段內用網站同步的方法進行上傳。
開始時間：如果要使用定時方式必須設置此項，在設置的時間中會自動開始所有設置為計劃的站點。
停止時間：如果設置此項則當系統時間大於停止時間時自動停止所有設置為計劃的站點。
注意：定時上傳種沒有“停止時間”選項，網站同步完成後會自動停止，同時網站同步同一時間只能運行一次。
網絡傳神還有很多為便於同步鏡像設置的功能,大家實際使用中去體會吧!
WebSynchronizer網站同步鏡像使用傻瓜指南
WebSynchronizer功能非常強大,不單單是網站同步,還可以進行本地目錄同步,本地到遠程同步,功能方面遠勝過傳神,不過,國內好像沒有漢化版,對於一些對英文感冒的朋友用起來會不太舒服,希望CCF里的漢化高手能將他中文化!
開始運行程序,老外的軟件就是智能,一打開這個軟件就會有一個同步嚮導跳出來!
在這裡,你也看出來了吧,這個軟件只支持兩個目錄間的同步.不過,我們可以創建多個項目來解決這個問題!具體我在後面介紹!這裡,我們來看看如何建立兩個遠程目錄的同步!
選擇第二項,進入下一個選擇框:
網站同步當然是選擇第一項了!再進入下一步,要你選擇同步的第一個服務器,建議在這裡serverslist,先編輯好需要同步的幾個FTP
同步方式設置說明:
第一項的意思是:上傳下載所有改變的文件
第二項的意思是:不改變文件夾內容,只下載新的文件
點擊下一步進行第二個服務器設置,方法和第一個一樣!
設置完成後,你還可以修改任務名稱!
我覺得這點就是這個軟件非常優秀的地方,以任務的方式進行管理.非常方便!
OK,現在我們就可以看到他的主界面了!
還有一點要提,他的計劃任務更能也很強大,在這裡我就不再多說了!用過才知道他的強大!
有朋友會說,我要進行兩個以上的網站同步怎麼辦?
很簡單,再多建幾個任務就可以了,要鏡像多少網站都沒有問題!
這個軟件的網站同步鏡像可以非常靈活,比如可以本地-遠程,然後再遠程-遠程!或者本地-遠程1,本地-遠程2,遠程1-遠程2,任何情形下的同步都可以完成!
數據庫同步操作指南
說完了文件同步,我們再來探討一下數據庫同步!
這裡我主要教大家兩種最常用的數據庫的同步方法!
MySQL
MySQL數據同步主要有三種方式:
1.利用MySQL自身的數據庫同步功能
2.利用MySQL數據庫的特性(數據庫存在固頂目錄,並且以文件形式存儲),進行數據庫目錄同步以達到數據同步目的
3.利用專用的MySQL數據庫同步軟件
1.利用MySQL自身的數據庫同步功能(下面參考自網上的文章,寫的非常詳細了)
MySQL從3.23.15版本以後提供數據庫複製功能。利用該功能可以實現兩個數據庫同步，主從模式，互相備份模式的功能.
數據庫同步複製功能的設置都在mysql的設置文件中體現。mysql的配置文件（一般是my.cnf），在unix環境下在/etc/mysql/my.cnf或者在mysql用戶的home目錄下的my.cnf。
windows環境中，如果c:根目錄下有my.cnf文件則取該配置文件。當運行mysql的winmysqladmin.exe工具時候，該工具會把c:根目錄下的my.cnf命名為mycnf.bak。並在winnt目錄下創建my.ini。mysql服務器啟動時候會讀該配置文件。所以可以把my.cnf中的內容拷貝到my.ini文件中，用my.ini文件作為mysql服務器的配置文件。
設置方法：
設置範例環境：
操作系統：window2000professional
mysql：4.0.4-beta-max-nt-log
Aip:10.10.10.22
Bip:10.10.10.53
A:設置
1.增加一個用戶最為同步的用戶帳號：
GRANTFILEON*.*TObackup@’10.10.10.53’IDENTIFIEDBY‘1234’
2.增加一個數據庫作為同步數據庫：
createdatabasebackup
B:設置
1.增加一個用戶最為同步的用戶帳號：
GRANTFILEON*.*TObackup@’10.10.10.22’IDENTIFIEDBY‘1234’
2.增加一個數據庫作為同步數據庫：
createdatabasebackup
主從模式：A-B
A為master
修改Amysql的my.ini文件。在mysqld配置項中加入下面配置：
server-id=1
log-bin
#設置需要記錄log可以設置log-bin=c:mysqlbakmysqllog設置日誌文件的目錄，
#其中mysqllog是日誌文件的名稱，mysql將建立不同擴展名，文件名為mysqllog的幾個日誌文件。
binlog-do-db=backup#指定需要日誌的數據庫
重起數據庫服務。
用showmasterstatus命令看日誌情況。
B為slave
修改Bmysql的my.ini文件。在mysqld配置項中加入下面配置：
server-id=2
master-host=10.10.10.22
master-user=backup#同步用戶帳號
master-password=1234
master-port=3306
master-connect-retry=60預設重試間隔60秒
replicate-do-db=backup告訴slave只做backup數據庫的更新
重起數據庫
用showslavestatus看同步配置情況。
注意：由於設置了slave的配置信息，mysql在數據庫目錄下生成master.info
所以如有要修改相關slave的配置要先刪除該文件。否則修改的配置不能生效。
雙機互備模式。
如果在A加入slave設置，在B加入master設置，則可以做B-A的同步。
在A的配置文件中mysqld配置項加入以下設置：
master-host=10.10.10.53
master-user=backup
master-password=1234
replicate-do-db=backup
master-connect-retry=10
在B的配置文件中mysqld配置項加入以下設置：
log-bin=c:mysqllogmysqllog
binlog-do-db=backup
注意：當有錯誤產生時*.err日誌文件。同步的線程退出，當糾正錯誤後要讓同步機制進行工作，運行slavestart
重起AB機器，則可以實現雙向的熱備。
測試：
向B批量插入大數據量表AA（1872000）條
A數據庫每秒鐘可以更新2500條數據。
2.數據庫目錄同步,方法和文件同步一樣,設置好需要同步的兩個數據庫目錄就可以了!
缺點很明顯,數據同步只能單向進行,可以作為備份方案
3.用專用的MySQL同步軟件進行同步
這方面的軟件有SQLBalance和MyReplicator,優點是方便直觀,還有很多爭強功能!
缺點和2一樣,只能單項同步!
當然你也可以修改鏡像網站的程序為提交數據到母數據庫,讀取則在當前鏡像下的數據,不過,修改起來麻煩!普通用戶修改也非常難!呵呵,大家了解一下就可以!給大家一個思路!有能力的朋友可以試試阿!
4.關於MySQL論壇的數據同步
由於數據來源的不可控制(不好表達),論壇數據是實時的,而且還要考慮來自鏡像論壇的數據,如何實現鏡像論壇與母論壇數據同步呢?
用1中介紹的MySQL自帶的數據庫同步功能互相備份模式就可以實現的!
不過,具體的應用我沒有測試!穩定性不敢保證!
有能力的朋友推薦用下面這種思路來同步,相對來說減少點效率,但能減少發生的錯誤!
比如鏡像論壇數據同步:
1.母論壇和鏡像論壇的數據全寫在母論壇數據庫里,主從模式,讀取只在本地讀取,這個需要修改程序!
2.每次寫數據,都同時提交到兩個數據庫中,安全,但是效率很差,也得修改程序!
MSSQL
MSSQL數據同步利用數據庫複製技術實現數據同步更新(來自網絡,也是非常完美的教程)
複製的概念
複製是將一組數據從一個數據源拷貝到多個數據源的技術，是將一份數據發布到多個存儲站點上的有效方式。使用複製技術，用戶可以將一份數據發布到多台服務器上，從而使不同的服務器用戶都可以在權限的許可的範圍內共享這份數據。複製技術可以確保分布在不同地點的數據自動同步更新，從而保證數據的一致性。
SQL複製的基本元素包括
出版服務器、訂閱服務器、分發服務器、出版物、文章
SQL複製的工作原理
SQLSERVER主要採用出版物、訂閱的方式來處理複製。源數據所在的服務器是出版服務器，負責發表數據。出版服務器把要發表的數據的所有改變情況的拷貝複製到分發服務器，分發服務器包含有一個分發數據庫，可接收數據的所有改變，並保存這些改變，再把這些改變分發給訂閱服務器
SQLSERVER複製技術類型
SQLSERVER提供了三種複製技術，分別是：
1、快照複製（呆會我們就使用這個）
2、事務複製
3、合併複製
只要把上面這些概念弄清楚了那麼對複製也就有了一定的理解。接下來我們就一步一步來實現複製的步驟。
第一先來配置出版服務器
(1)選中指定[服務器]節點
(2)從[工具]下拉菜單的[複製]子菜單中選擇[發布、訂閱服務器和分發]命令
(3)系統彈出一個對話框點[下一步]然後看着提示一直操作到完成。
(4)當完成了出版服務器的設置以後系統會為該服務器的樹形結構中添加一個複製監視器。同時也生成一個分發數據庫(distribution)
第二創建出版物
(1)選中指定的服務器
(2)從[工具]菜單的[複製]子菜單中選擇[創建和管理髮布]命令。此時系統會彈出一個對話框
(3)選擇要創建出版物的數據庫，然後單擊[創建發布]
(4)在[創建發布嚮導]的提示對話框中單擊[下一步]系統就會彈出一個對話框。對話框上的內容是複製的三個類型。我們現在選第一個也就是默認的快照發布(其他兩個大家可以去看看幫助)
(5)單擊[下一步]系統要求指定可以訂閱該發布的數據庫服務器類型，SQLSERVER允許在不同的數據庫如ORACLE或ACCESS之間進行數據複製。但是在這裡我們選擇運行”SQLSERVER2000″的數據庫服務器
(6)單擊[下一步]系統就彈出一個定義文章的對話框也就是選擇要出版的表
(7)然後[下一步]直到操作完成。當完成出版物的創建後創建出版物的數據庫也就變成了一個共享數據庫。
第三設計訂閱
(1)選中指定的訂閱服務器
(2)從[工具]下拉菜單中選擇[複製]子菜單的[請求訂閱]
(3)按照單擊[下一步]操作直到系統會提示檢查SQLSERVER代理服務的運行狀態，執行複製操作的前提條件是SQLSERVER代理服務必須已經啟動。
(4)單擊[完成]。完成訂閱操作。
完成上面的步驟其實複製也就是成功了。但是如何來知道複製是否成功了呢？這裡可以通過這種方法來快速看是否成功。展開出版服務器下面的複製——發布內容——右鍵發布內容——屬性——擊活——狀態然後點立即運行代理程序接着點代理程序屬性擊活調度把調度設置為每一天發生，每一分鐘，在0：00：00 和23：59：59之間。接下來就是判斷複製是否成功了打開C: /ProgramFiles/MicrosoftSQLServer/MSSQL/REPLDATA/unc/XIAOWANGZI_database_database 下面看是不是有一些以時間做為文件名的文件夾差不多一分中就產生一個。要是你還不信的話就打開你的數據庫看在訂閱的服務器的指定訂閱數據庫下看是不是看到了你剛才所發布的表—
一個手工同步的方案
–定時同步服務器上的數據
–例子:
–測試環境,SQLServer2000,遠程服務器名:xz,用戶名為:sa,無密碼,測試數據庫:test
–服務器上的表(查詢分析器連接到服務器上創建)
createtable[user](idintprimarykey,numbervarchar(4),namevarchar(10))
go
–以下在局域網(本機操作)
–本機的表,state說明:null表示新增記錄,1表示修改過的記錄,0表示無變化的記錄
ifexists(select*fromdbo.sysobjectswhereid=object_id(N'[user]’)andOBJECTPROPERTY(id,N’IsUserTable’)=1)
droptable[user]
GO
createtable[user](idintidentity(1,1),numbervarchar(4),namevarchar(10),statebit)
go
–創建觸發器,維護state字段的值
createtriggert_stateon[user]
afterupdate
as
update[user]setstate=1
from[user]ajoininsertedbona.id=b.id
wherea.stateisnotnull
go
–為了方便同步處理,創建鏈接服務器到要同步的服務器
–這裡的遠程服務器名為:xz,用戶名為:sa,無密碼
ifexists(select1frommaster..sysserverswheresrvname=’srv_lnk’)
execsp_dropserver’srv_lnk’,’droplogins’
go
execsp_addlinkedserver’srv_lnk’,”,’SQLOLEDB’,’xz’
execsp_addlinkedsrvlogin’srv_lnk’,’false’,null,’sa’
go
–創建同步處理的存儲過程
ifexists(select*fromdbo.sysobjectswhereid=object_id(N'[dbo].[p_synchro]’)andOBJECTPROPERTY(id,N’IsProcedure’)=1)
dropprocedure[dbo].[p_synchro]
GO
createprocp_synchro
as
–setXACT_ABORTon
–啟動遠程服務器的MSDTC服務
–execmaster..xp_cmdshell’isql/S”xz”/U”sa”/P””/q”execmaster..xp_cmdshell”netstartmsdtc”,no_output”‘,no_output
–啟動本機的MSDTC服務
–execmaster..xp_cmdshell’netstartmsdtc’,no_output
–進行分布事務處理,如果表用標識列做主鍵,用下面的方法
–BEGINDISTRIBUTEDTRANSACTION
–同步刪除的數據
deletefromsrv_lnk.test.dbo.[user]
whereidnotin(selectidfrom[user])
–同步新增的數據
insertintosrv_lnk.test.dbo.[user]
selectid,number,namefrom[user]wherestateisnull
–同步修改的數據
updatesrv_lnk.test.dbo.[user]set
number=b.number,name=b.name
fromsrv_lnk.test.dbo.[user]a
join[user]bona.id=b.id
whereb.state=1
–同步後更新本機的標誌
update[user]setstate=0whereisnull(state,1)=1
–COMMITTRAN
go
–創建作業,定時執行數據同步的存儲過程
ifexists(SELECT1frommsdb..sysjobswherename=’數據處理’)
EXECUTEmsdb.dbo.sp_delete_job@job_name=’數據處理’
execmsdb..sp_add_job@job_name=’數據處理’
–創建作業步驟
declare@sqlvarchar(800),@dbnamevarchar(250)
select@sql=’execp_synchro’–數據處理的命令
,@dbname=db_name()–執行數據處理的數據庫名
execmsdb..sp_add_jobstep@job_name=’數據處理’,
@step_name=’數據同步’,
@subsystem=’TSQL’,
@database_name=@dbname,
@command=@sql,
@retry_attempts=5,–重試次數
@retry_interval=5–重試間隔
–創建調度
EXECmsdb..sp_add_jobschedule@job_name=’數據處理’,
@name=’時間安排’,
@freq_type=4,–每天
@freq_interval=1,–每天執行一次
@active_start_time=00000–0點執行
go
see to
mysql中間件有哪些
mysql-proxy是官方提供的mysql中間件產品可以實現負載平衡，讀寫分離，failover等，但其不支持大數據量的分庫分表且性能較差。下面介紹幾款能代替其的mysql開源中間件產品，Atlas，cobar，tddl，讓我們看看它們各自有些什麼優點和新特性吧。
Atlas
Atlas是由 Qihoo 360, Web平台部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它是在mysql-proxy 0.8.2版本的基礎上，對其進行了優化，增加了一些新的功能特性。360內部使用Atlas運行的mysql業務，每天承載的讀寫請求數達幾十億條。
Altas架構：
Atlas是一個位於應用程序與MySQL之間，它實現了MySQL的客戶端與服務端協議，作為服務端與應用程序通訊，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。
以下是一個可以參考的整體架構，LVS前端做負載均衡，兩個Altas做HA,防止單點故障。
Altas的一些新特性：
1.主庫宕機不影響讀
主庫宕機，Atlas自動將宕機的主庫摘除，寫操作會失敗，讀操作不受影響。從庫宕機，Atlas自動將宕機的從庫摘除，對應用沒有影響。在mysql官方的proxy中主庫宕機，從庫亦不可用。
2.通過管理接口，簡化管理工作，DB的上下線對應用完全透明，同時可以手動上下線。
3.自己實現讀寫分離
（1）為了解決讀寫分離存在寫完馬上就想讀而這時可能存在主從同步延遲的情況，Altas中可以在SQL語句前增加 /*master*/ 就可以將讀請求強制發往主庫。
主庫可設置多項，用逗號分隔，從庫可設置多項和權重，達到負載均衡。
4.自己實現分表
（1）需帶有分表字段。
（2）支持SELECT、INSERT、UPDATE、DELETE、REPLACE語句。
（3）支持多個子表查詢結果的合併和排序。
這裡不得不吐槽Atlas的分表功能，不能實現分布式分表，所有的子表必須在同一台DB的同一個database里且所有的子表必須事先建好，Atlas沒有自動建表的功能。
5.之前官方主要功能邏輯由使用lua腳本編寫，效率低，Atlas用C改寫，QPS提高，latency降低。
6.安全方面的提升
（1）通過配置文件中的pwds參數進行連接Atlas的用戶的權限控制。
（2）通過client-ips參數對有權限連接Atlas的ip進行過濾。
（3）日誌中記錄所有通過Altas處理的SQL語句，包括客戶端IP、實際執行該語句的DB、執行成功與否、執行所耗費的時間 ，如下面例子。
圖4
7.平滑重啟
通過配置文件中設置lvs-ips參數實現平滑重啟功能，否則重啟Altas的瞬間那些SQL請求都會失敗。該參數前面掛接的lvs的物理網卡的ip，注意不是虛ip。平滑重啟的條件是至少有兩台配置相同的Atlas且掛在lvs之後。
source：
alibaba.cobar
Cobar是阿里巴巴（B2B）部門開發的一種關係型數據的分布式處理系統，它可以在分布式的環境下看上去像傳統數據庫一樣為您提供海量數據服務。那麼具體說說我們為什麼要用它，或說cobar–能幹什麼？以下是我們業務運行中會存在的一些問題：
1.隨着業務的進行數據庫的數據量和訪問量的劇增，需要對數據進行水平拆分來降低單庫的壓力，而且需要高效且相對透明的來屏蔽掉水平拆分的細節。
2.為提高訪問的可用性，數據源需要備份。
3.數據源可用性的檢測和failover。
4.前台的高並發造成後台數據庫連接數過多，降低了性能，怎麼解決。
針對以上問題就有了cobar施展自己的空間了，cobar中間件以proxy的形式位於前台應用和實際數據庫之間，對前台的開放的接口是mysql通信協議。將前台SQL語句變更並按照數據分布規則轉發到合適的後台數據分庫，再合併返回結果，模擬單庫下的數據庫行為。
Cobar應用舉例
應用架構：
應用介紹：
1.通過Cobar提供一個名為test的數據庫，其中包含t1,t2兩張表。後台有3個MySQL實例(ip:port)為其提供服務，分別為：A,B,C。
2.期望t1表的數據放置在實例A中，t2表的數據水平拆成四份並在實例B和C中各自放兩份。t2表的數據要具備HA功能，即B或者C實例其中一個出現故障，不影響使用且可提供完整的數據服務。
cabar優點總結：
1.數據和訪問從集中式改變為分布：
（1）Cobar支持將一張表水平拆分成多份分別放入不同的庫來實現表的水平拆分
（2）Cobar也支持將不同的表放入不同的庫
（3） 多數情況下，用戶會將以上兩種方式混合使用
注意！：Cobar不支持將一張表，例如test表拆分成test_1,test_2, test_3…..放在同一個庫中，必須將拆分後的表分別放入不同的庫來實現分布式。
2.解決連接數過大的問題。
3.對業務代碼侵入性少。
4.提供數據節點的failover,HA：
(1)Cobar的主備切換有兩種觸發方式，一種是用戶手動觸發，一種是Cobar的心跳語句檢測到異常後自動觸發。那麼，當心跳檢測到主機異常，切換到備機，如果主機恢復了，需要用戶手動切回主機工作，Cobar不會在主機恢復時自動切換回主機，除非備機的心跳也返回異常。
(2)Cobar只檢查MySQL主備異常，不關心主備之間的數據同步，因此用戶需要在使用Cobar之前在MySQL主備上配置雙向同步。
cobar缺點：
開源版本中數據庫只支持mysql，並且不支持讀寫分離。
source：
TDDL
淘寶根據自己的業務特點開發了TDDL（Taobao Distributed Data Layer 外號:頭都大了 ©_Ob）框架，主要解決了分庫分表對應用的透明化以及異構數據庫之間的數據複製，它是一個基於集中式配置的 jdbc datasource實現，具有主備，讀寫分離，動態數據庫配置等功能。
TDDL所處的位置（tddl通用數據訪問層，部署在客戶端的jar包，用於將用戶的SQL路由到指定的數據庫中）：
淘寶很早就對數據進行過分庫的處理， 上層系統連接多個數據庫，中間有一個叫做DBRoute的路由來對數據進行統一訪問。DBRoute對數據進行多庫的操作、數據的整合，讓上層系統像操作一個數據庫一樣操作多個庫。但是隨着數據量的增長，對於庫表的分法有了更高的要求，例如，你的商品數據到了百億級別的時候，任何一個庫都無法存放了，於是分成2個、4個、8個、16個、32個……直到1024個、2048個。好，分成這麼多，數據能夠存放了，那怎麼查詢它？這時候，數據查詢的中間件就要能夠承擔這個重任了，它對上層來說，必須像查詢一個數據庫一樣來查詢數據，還要像查詢一個數據庫一樣快（每條查詢在幾毫秒內完成），TDDL就承擔了這樣一個工作。在外面有些系統也用DAL（數據訪問層） 這個概念來命名這個中間件。
下圖展示了一個簡單的分庫分表數據查詢策略：
主要優點：
1.數據庫主備和動態切換
2.帶權重的讀寫分離
3.單線程讀重試
4.集中式數據源信息管理和動態變更
5.剝離的穩定jboss數據源
6.支持mysql和oracle數據庫
7.基於jdbc規範，很容易擴展支持實現jdbc規範的數據源
8.無server,client-jar形式存在，應用直連數據庫
9.讀寫次數,並發度流程控制，動態變更
10.可分析的日誌打印,日誌流控，動態變更
鏡像網站怎麼實現數據同步?
一步一步教你網站同步鏡像
1.介紹
現在的網站隨着訪問量的增加,單一服務器無法
承擔巨大的訪問量,有沒有什麼方便快捷的方式
解決這個問題呢,答案是”有”!
比如建立服務器群,進行均衡負載.
但是如果要解決像電信網通這樣的互訪問題(中
國網民的悲哀..),這個解決辦法就無能為力了!
要解決這個問題最方便快捷的方式就是建立鏡像
網站!由訪問者自己選擇適合自己網絡的速度最
快的網站!這樣即可以解決線路問題,又可以解決
訪問量問題!
2.網站同步的數據分類
網站數據基本分為兩類:
一類是文件,比如HTML,ASP,PHP等網頁文件,或者
RAR,ZIP,RM,AVI等可下載文件!
要實現他們的同步很簡單,用FTP同步軟件就可以
了!至於哪幾個我會在後面做詳細介紹.
一類是數據庫數據文件,比如MySQL,SQLServer等
等!
數據庫同步的方法也很多,最簡單的辦法只是將
數據庫目錄同步一下就OK了!
在後面我也會做詳細講解!
3.網站文件的同步
在這裡用到的主要工具就是FTP,網站文件同步分
兩種情況,一種是本地到遠程,一種是遠程到遠程
(FXP)!第一種不用說了,第二種遠程到遠程即FXP
,支持它的軟件也很多,但是真正適合多網站同步
鏡像的卻不多!
下面我介紹幾個我認為不錯的軟件!
1.首先我要推薦的是國產的FTP軟件”網絡傳神
”,功能非常強大,特別是在網站的同步鏡像方面
,可惜的是,這款非常經典的軟件已經不再更新了
,最後更新時間是2003年3月,最後一個版本是3.1
2!雖然如此還是非常好用的!下面是一段官方的
簡介:
網絡傳神完全吸收了Cuteftp和UpdataNow的全部
功能，並且增加了其他軟件沒有的多項功能：支
持網站互傳；支持網站同步(UPDATANOW)；支持
後台上傳(多線程上傳多個文件)；可同時打開多
個站點；多站點計划上傳功能，支持鏡像站點；
支持宏操作支持計劃操作；支持文件高級比較上
傳；支持目錄隱藏過濾（為用ForntPage作主頁
的朋友帶來福音）；服務器自動識別功能；資源
管理器瀏覽方式；可以自定義命令；支持RFC959
標準具有更好的穩定性；完備的信息返回機制及
錯誤監控機制完整的中文幫助。
2.第二款是由ReGet同一開發公司製作的專用於
網站同步的軟件”WebSynchronizer”,用這款軟
件,你才會體驗到網站同步的方便快捷,簡單容易
.最新版本是1.3.62,網上能找到XX的最後版本是
1.1版!下面是一段簡介:
檔案同步化工具-WebSynchronizer，由知名續傳
軟件ReGet之軟件出版公司所推出，是網站同步
化、檔案鏡像、檔案備份的絕佳工具，可以執行
下列主要工作：1)本機資料夾及遠程資料夾的同
步化；2)兩台遠程計算機中的資料夾同步化；3)
兩個本機資料之同步化。
3.其他還有一些軟件如同步快梭(AutoSyncFTP),
也能實現簡單的網站同步,不過,這款軟件非常不
穩定,而且2001年就已經停止開發.所以,不用考
慮了!還有上次有朋友提到的SiteMirro,由於網
上找不到可以用的版本,所以沒有辦法測試!
網絡傳神網站同步鏡像使用傻瓜指南
上次在網絡技術版已經發過一個簡單的使用方法
介紹,如果嫌我羅嗦(o(_)o),大家可以參考那
篇文章:
0129
第一次運行網絡傳神的時候,它會讓你選擇”完
全模式”和”啟動模式”,要使用網站同步必須
選擇”完全模式”.
進入主界面:你會發現這個軟件非常像FlashGet,
要使用網站同步功能,點擊軟件左下角的”FTP客
戶端”.
現在你要做的就是添加你的鏡像母站和需要鏡像
的網站:文件-站點管理,在裡面添加你需要同步
的幾個的FTP服務器,下面我將介紹具體設置(主
要是鏡像母站的設置)
母站設置最重要的地方就是”比較目錄(網站同
步)”:
1.拖動傳送
就是手動拖動傳送時候的傳送方式,非拖動方式
不受影響,因為母站的更新基本上是從本地目錄
進行的,所以建議這裡選擇第二項”只上傳不同
的文件”,鏡像站點這裡可以忽略
2.磁盤比較設置
這個功能非常有用,可以通過文件長度和文件日
期進行文件差異對比.
你還可以設置本地目錄過濾和服務器目錄過濾,
非常靈活!
好了,添加好母站和鏡像站之後,我們來設置同步
:
如果是添加鏡像站,則會跳出下面的母站選擇窗
口:
設置好多個鏡像站點之後,返回主界面就可以進
行網站同步了:
注意事項：
一般不要改動鏡像站點前面的“對鉤”標誌，因
為鏡像站點同步的原理是“根據主站點的同步信
息更新鏡像站點”，如果景象站點沒有更新那麼
必須將該鏡像站點單獨同步。
注意一般應該“選項窗口”-〉“FTP客戶端”-
〉“計劃”中的“最大連接個數”和“最大線程
個數”一般不要改動保持為“1”。
如果同步時某個站點出錯同步沒有完全完成只需
按“計劃”窗口中的按鈕單獨執行某個站點的傳
送即可。
再介紹一下網站鏡像同步中必要的功能,定時同
步,這樣你就只要做好母站的更新,其他的讓網絡
傳神幫你完成:
點擊設置:
進入網絡傳神的選項設置窗口,選中FTP客戶端中
的定時同步
定時下載：在指定的時段內下載文件。
定時上傳：在指定的時段內用網站同步的方法進
行上傳。
開始時間：如果要使用定時方式必須設置此項，
在設置的時間中會自動開始所有設置為計劃的站
點。
停止時間：如果設置此項則當系統時間大於停止
時間時自動停止所有設置為計劃的站點。
注意：定時上傳種沒有“停止時間”選項，網站
同步完成後會自動停止，同時網站同步同一時間
只能運行一次。
網絡傳神還有很多為便於同步鏡像設置的功能,
大家實際使用中去體會吧!
WebSynchronizer網站同步鏡像使用傻瓜指南
WebSynchronizer功能非常強大,不單單是網站同
步,還可以進行本地目錄同步,本地到遠程同步,
功能方面遠勝過傳神,不過,國內好像沒有漢化版
,對於一些對英文感冒的朋友用起來會不太舒服,
希望CCF里的漢化高手能將他中文化!
開始運行程序,老外的軟件就是智能,一打開這個
軟件就會有一個同步嚮導跳出來!
在這裡,你也看出來了吧,這個軟件只支持兩個目
錄間的同步.不過,我們可以創建多個項目來解決
這個問題!具體我在後面介紹!這裡,我們來看看
如何建立兩個遠程目錄的同步!
選擇第二項,進入下一個選擇框:
網站同步當然是選擇第一項了!再進入下一步,要
你選擇同步的第一個服務器,建議在這裡servers
list,先編輯好需要同步的幾個FTP
同步方式設置說明:
第一項的意思是:上傳下載所有改變的文件
第二項的意思是:不改變文件夾內容,只下載新的
文件
點擊下一步進行第二個服務器設置,方法和第一
個一樣!
設置完成後,你還可以修改任務名稱!
我覺得這點就是這個軟件非常優秀的地方,以任
務的方式進行管理.非常方便!
OK,現在我們就可以看到他的主界面了!
還有一點要提,他的計劃任務更能也很強大,在這
里我就不再多說了!用過才知道他的強大!
有朋友會說,我要進行兩個以上的網站同步怎麼
辦?
很簡單,再多建幾個任務就可以了,要鏡像多少網
站都沒有問題!
這個軟件的網站同步鏡像可以非常靈活,比如可
以本地-遠程,然後再遠程-遠程!或者本地-遠程1
,本地-遠程2,遠程1-遠程2,任何情形下的同步都
可以完成!
數據庫同步操作指南
說完了文件同步,我們再來探討一下數據庫同步!
這裡我主要教大家兩種最常用的數據庫的同步方
法!
MySQL
MySQL數據同步主要有三種方式:
1.利用MySQL自身的數據庫同步功能
2.利用MySQL數據庫的特性(數據庫存在固頂目錄
,並且以文件形式存儲),進行數據庫目錄同步以
達到數據同步目的
3.利用專用的MySQL數據庫同步軟件
1.利用MySQL自身的數據庫同步功能(下面參考自
網上的文章,寫的非常詳細了)
MySQL從3.23.15版本以後提供數據庫複製功能。
利用該功能可以實現兩個數據庫同步，主從模式
，互相備份模式的功能.
數據庫同步複製功能的設置都在mysql的設置文
件中體現。mysql的配置文件（一般是my.cnf）
，在unix環境下在/etc/mysql/my.cnf或者在mys
ql用戶的home目錄下的my.cnf。
windows環境中，如果c:根目錄下有my.cnf文件
則取該配置文件。當運行mysql的winmysqladmin
.exe工具時候，該工具會把c:根目錄下的my.cnf
命名為mycnf.bak。並在winnt目錄下創建my.ini
。mysql服務器啟動時候會讀該配置文件。所以
可以把my.cnf中的內容拷貝到my.ini文件中，用
my.ini文件作為mysql服務器的配置文件。
設置方法：
設置範例環境：
操作系統：window2000professional
mysql：4.0.4-beta-max-nt-log
Aip:10.10.10.22
Bip:10.10.10.53
A:設置
1.增加一個用戶最為同步的用戶帳號：
GRANTFILEON*.*TObackup@’10.10.10.53’ID
ENTIFIEDBY‘1234’
2.增加一個數據庫作為同步數據庫：
createdatabasebackup
B:設置
1.增加一個用戶最為同步的用戶帳號：
GRANTFILEON*.*TObackup@’10.10.10.22’ID
ENTIFIEDBY‘1234’
2.增加一個數據庫作為同步數據庫：
createdatabasebackup
主從模式：A-B
A為master
修改Amysql的my.ini文件。在mysqld配置項
中加入下面配置：
server-id=1
log-bin
#設置需要記錄log可以設置log-bin=c:mysq
lbakmysqllog設置日誌文件的目錄，
#其中mysqllog是日誌文件的名稱，mysql將
建立不同擴展名，文件名為mysqllog的幾個日誌
文件。
binlog-do-db=backup#指定需要日誌的數據
庫
重起數據庫服務。
用showmasterstatus命令看日誌情況。
B為slave
修改Bmysql的my.ini文件。在mysqld配置項
中加入下面配置：
server-id=2
master-host=10.10.10.22
master-user=backup#同步用戶帳號
master-password=1234
master-port=3306
master-connect-retry=60預設重試間隔60
秒
replicate-do-db=backup告訴slave只做bac
kup數據庫的更新
重起數據庫
用showslavestatus看同步配置情況。
注意：由於設置了slave的配置信息，mysql
在數據庫目錄下生成master.info
所以如有要修改相關slave的配置要先刪除
該文件。否則修改的配置不能生效。
雙機互備模式。
如果在A加入slave設置，在B加入master設
置，則可以做B-A的同步。
在A的配置文件中mysqld配置項加入以下設
置：
master-host=10.10.10.53
master-user=backup
master-password=1234
replicate-do-db=backup
master-connect-retry=10
在B的配置文件中mysqld配置項加入以下設
置：
log-bin=c:mysqllogmysqllog
binlog-do-db=backup
注意：當有錯誤產生時*.err日誌文件。同
步的線程退出，當糾正錯誤後要讓同步機制進行
工作，運行slavestart
重起AB機器，則可以實現雙向的熱備。
測試：
向B批量插入大數據量表AA（1872000）條
A數據庫每秒鐘可以更新2500條數據。
2.數據庫目錄同步,方法和文件同步一樣,設置好
需要同步的兩個數據庫目錄就可以了!
缺點很明顯,數據同步只能單向進行,可以作為備
份方案
3.用專用的MySQL同步軟件進行同步
這方面的軟件有SQLBalance和MyReplicator,優
點是方便直觀,還有很多爭強功能!
缺點和2一樣,只能單項同步!
當然你也可以修改鏡像網站的程序為提交數據到
母數據庫,讀取則在當前鏡像下的數據,不過,修
改起來麻煩!普通用戶修改也非常難!呵呵,大家
了解一下就可以!給大家一個思路!有能力的朋友
可以試試阿!
4.關於MySQL論壇的數據同步
由於數據來源的不可控制(不好表達),論壇數據
是實時的,而且還要考慮來自鏡像論壇的數據,如
何實現鏡像論壇與母論壇數據同步呢?
用1中介紹的MySQL自帶的數據庫同步功能互相備
份模式就可以實現的!
不過,具體的應用我沒有測試!穩定性不敢保證!
有能力的朋友推薦用下面這種思路來同步,相對
來說減少點效率,但能減少發生的錯誤!
比如鏡像論壇數據同步:
1.母論壇和鏡像論壇的數據全寫在母論壇數據庫
里,主從模式,讀取只在本地讀取,這個需要修改
程序!
2.每次寫數據,都同時提交到兩個數據庫中,安全
,但是效率很差,也得修改程序!
MSSQL
MSSQL數據同步利用數據庫複製技術實現數據同
步更新(來自網絡,也是非常完美的教程)
複製的概念
複製是將一組數據從一個數據源拷貝到多個數據
源的技術，是將一份數據發布到多個存儲站點上
的有效方式。使用複製技術，用戶可以將一份數
據發布到多台服務器上，從而使不同的服務器用
戶都可以在權限的許可的範圍內共享這份數據。
複製技術可以確保分布在不同地點的數據自動同
步更新，從而保證數據的一致性。
SQL複製的基本元素包括
出版服務器、訂閱服務器、分發服務器、出版物
、文章
SQL複製的工作原理
SQLSERVER主要採用出版物、訂閱的方式來處理
複製。源數據所在的服務器是出版服務器，負責
發表數據。出版服務器把要發表的數據的所有改
變情況的拷貝複製到分發服務器，分發服務器包
含有一個分發數據庫，可接收數據的所有改變，
並保存這些改變，再把這些改變分發給訂閱服務
器
SQLSERVER複製技術類型
SQLSERVER提供了三種複製技術，分別是：
1、快照複製（呆會我們就使用這個）
2、事務複製
3、合併複製
只要把上面這些概念弄清楚了那麼對複製也就有
了一定的理解。接下來我們就一步一步來實現復
制的步驟。
第一先來配置出版服務器
(1)選中指定[服務器]節點
(2)從[工具]下拉菜單的[複製]子菜單中選擇[發
布、訂閱服務器和分發]命令
(3)系統彈出一個對話框點[下一步]然後看着提
示一直操作到完成。
(4)當完成了出版服務器的設置以後系統會為該
服務器的樹形結構中添加一個複製監視器。同時
也生成一個分發數據庫(distribution)
第二創建出版物
(1)選中指定的服務器
(2)從[工具]菜單的[複製]子菜單中選擇[創建和
管理髮布]命令。此時系統會彈出一個對話框
(3)選擇要創建出版物的數據庫，然後單擊[創建
發布]
(4)在[創建發布嚮導]的提示對話框中單擊[下一
步]系統就會彈出一個對話框。對話框上的內容
是複製的三個類型。我們現在選第一個也就是默
認的快照發布(其他兩個大家可以去看看幫助)
(5)單擊[下一步]系統要求指定可以訂閱該發布
的數據庫服務器類型，SQLSERVER允許在不同的
數據庫如ORACLE或ACCESS之間進行數據複製。但
是在這裡我們選擇運行”SQLSERVER2000″的數據
庫服務器
(6)單擊[下一步]系統就彈出一個定義文章的對
話框也就是選擇要出版的表
(7)然後[下一步]直到操作完成。當完成出版物
的創建後創建出版物的數據庫也就變成了一個共
享數據庫。
第三設計訂閱
(1)選中指定的訂閱服務器
(2)從[工具]下拉菜單中選擇[複製]子菜單的[請
求訂閱]
(3)按照單擊[下一步]操作直到系統會提示檢查S
QLSERVER代理服務的運行狀態，執行複製操作的
前提條件是SQLSERVER代理服務必須已經啟動。
(4)單擊[完成]。完成訂閱操作。
完成上面的步驟其實複製也就是成功了。但是如
何來知道複製是否成功了呢？這裡可以通過這種
方法來快速看是否成功。展開出版服務器下面的
複製——發布內容——右鍵發布內容——屬性—
—擊活——狀態然後點立即運行代理程序接着點
代理程序屬性擊活調度把調度設置為每一天發生
，每一分鐘，在0：00：00和23：59：59之間。
接下來就是判斷複製是否成功了打開C:/Program
Files/MicrosoftSQLServer/MSSQL/REPLDATA/un
c/XIAOWANGZI_database_database下面看是不是
有一些以時間做為文件名的文件夾差不多一分中
就產生一個。要是你還不信的話就打開你的數據
庫看在訂閱的服務器的指定訂閱數據庫下看是不
是看到了你剛才所發布的表—
一個手工同步的方案
–定時同步服務器上的數據
–例子:
–測試環境,SQLServer2000,遠程服務器名:xz,
用戶名為:sa,無密碼,測試數據庫:test
–服務器上的表(查詢分析器連接到服務器上創
建)
createtable[user](idintprimarykey,numberva
rchar(4),namevarchar(10))
go
–以下在局域網(本機操作)
–本機的表,state說明:null表示新增記錄,1表
示修改過的記錄,0表示無變化的記錄
ifexists(select*fromdbo.sysobjectswhereid=
object_id(N'[user]’)andOBJECTPROPERTY(id,N
‘IsUserTable’)=1)
droptable[user]
GO
createtable[user](idintidentity(1,1),numbe
rvarchar(4),namevarchar(10),statebit)
go
–創建觸發器,維護state字段的值
createtriggert_stateon[user]
afterupdate
as
update[user]setstate=1
from[user]ajoininsertedbona.id=b.id
wherea.stateisnotnull
go
–為了方便同步處理,創建鏈接服務器到要同步
的服務器
–這裡的遠程服務器名為:xz,用戶名為:sa,無密
碼
ifexists(select1frommaster..sysserverswher
esrvname=’srv_lnk’)
execsp_dropserver’srv_lnk’,’droplogins’
go
execsp_addlinkedserver’srv_lnk’,”,’SQLOLE
DB’,’xz’
execsp_addlinkedsrvlogin’srv_lnk’,’false’,
null,’sa’
go
–創建同步處理的存儲過程
ifexists(select*fromdbo.sysobjectswhereid=
object_id(N'[dbo].[p_synchro]’)andOBJECTPR
OPERTY(id,N’IsProcedure’)=1)
dropprocedure[dbo].[p_synchro]
GO
createprocp_synchro
as
–setXACT_ABORTon
–啟動遠程服務器的MSDTC服務
–execmaster..xp_cmdshell’isql/S”xz”/U”sa”
/P””/q”execmaster..xp_cmdshell”netstartms
dtc”,no_output”‘,no_output
–啟動本機的MSDTC服務
–execmaster..xp_cmdshell’netstartmsdtc’,n
o_output
–進行分布事務處理,如果表用標識列做主鍵,用
下面的方法
–BEGINDISTRIBUTEDTRANSACTION
–同步刪除的數據
deletefromsrv_lnk.test.dbo.[user]
whereidnotin(selectidfrom[user])
–同步新增的數據
insertintosrv_lnk.test.dbo.[user]
selectid,number,namefrom[user]wherestateis
null
–同步修改的數據
updatesrv_lnk.test.dbo.[user]set
number=b.number,name=b.name
fromsrv_lnk.test.dbo.[user]a
join[user]bona.id=b.id
whereb.state=1
–同步後更新本機的標誌
update[user]setstate=0whereisnull(state,1)
=1
–COMMITTRAN
go
–創建作業,定時執行數據同步的存儲過程
ifexists(SELECT1frommsdb..sysjobswherename
=’數據處理’)
EXECUTEmsdb.dbo.sp_delete_job@job_name=’數
據處理’
execmsdb..sp_add_job@job_name=’數據處理’
–創建作業步驟
declare@sqlvarchar(800),@dbnamevarchar(250
)
select@sql=’execp_synchro’–數據處理的命令
,@dbname=db_name()–執行數據處理的數據庫名
execmsdb..sp_add_jobstep@job_name=’數據處
理’,
@step_name=’數據同步’,
@subsystem=’TSQL’,
@database_name=@dbname,
@command=@sql,
@retry_attempts=5,–重試次數
@retry_interval=5–重試間隔
–創建調度
EXECmsdb..sp_add_jobschedule@job_name=’數
據處理’,
@name=’時間安排’,
@freq_type=4,–每天
@freq_interval=1,–每天執行一次
@active_start_time=00000–0點執行
go
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/238935.html
微信掃一掃 
支付寶掃一掃 