h2數據庫表結構轉mysql(h2數據庫教程)

本文目錄一覽:

h2 內存數據庫-如果將這個mysql的語句轉換成h2的

上一句和下一句sql語句。沒有分號。 CREATE TABLE `20110131_admin` ( `loginName` varchar(60) default NULL, `password` varchar(60) default NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into `20110131_admin`(`loginName`,`password`) values (‘admin’,’admin’); 這樣就可以了。

怎樣將Sqlserver數據庫轉成mysql數據庫

您好,很高興為您解答。

1、MYSQL的工具使用navicat;

2、SQL在安裝的時候,需要安裝SQL native Clent,並且開啟服務;

3、在navicat中創建數據連接,創建一個對應的空數據庫

4、創建數據庫後,打開數據庫,選擇導入嚮導

5、導入嚮導里,選擇ODBC

6、點下一步,導入裡面選擇sql native client;

7、下一步,選擇使用windows NT 集成安全設置,數據庫選擇你要轉換的數據庫,確定

8、如表結構完全一樣,那麼就全選數據表吧,確定,因我們是新建的數據庫,裡面是空的,那麼默認是創建表,如果是要導入到已經有的表結構里,則在目標表裡選擇要導入的目標表,然後選字段。注意在第6步的時候,選對錶的主鍵進行設置!

9、如果是添加數據,則選擇:添加記錄到目標表;如果是需要ID值跟源數據庫一致,則選擇複製,刪除目標全部數據,並從源數據重新導入

注意,導入的時候,如果是已存在表結構,則鍵位不能空,如果是添加數據,則ID值空着,不要添加主鍵,在導入過程中如果出現錯誤,則根據出錯提示處理,此方法絕對可以!

如若滿意,請點擊右側【採納答案】,如若還有問題,請點擊【追問】

希望我的回答對您有所幫助,望採納!

~ O(∩_∩)O~

如何將H2數據庫數據轉存到MYSQL數據庫中?

這裡面有一些具體的問題,比如說是否只同步新增的數據,要同步的表是否只有少數幾個,要同步的表中是否有類似於自增字段這種東西等等。

最簡單的情況下,只同步新增數據,只同步少數幾個表,並且表中都有自增ID,那你只需要php定時執行,參照網頁鏈接

然後每次定時執行時,讀mysql表中的最後一個id(這個id要跟你的h2的自增id一樣),然後根據這個到h2表中去讀出大於這個id的一個固定記錄數的記錄,比如一次讀5000或1萬條,然後批量插入mysql就行了

怎樣把oracle中數據庫表結構和數據導入到mysql中啊

(轉載地址為:,功勞給做着本人吧)

#################### 通過軟件轉換數據庫信息 ####################

1. Oracle to MySQL

非常好的軟件,軟件本身非長小,但功能比較強大,使用簡單,配置也很簡單。

可以直接從 Oracle 導入 MySQL, 也可以導出.sql文件.

2. MySQLMigrationTool version 1.1.12

MySQLMigrationTool是MySQL GUI Tools 5.0 其中的一個組件,包括 MySQLAdministrator , MySQLMigrationTool ,

MySQLQueryBrowser , MySQLSystemTrayMonitor.

MySQLMigrationTool是專門為了各種數據庫之間數據轉換而設計的,它所提供的功能非常強大.

MySQLMigrationTool採用的是JDBC的連接方式,速度非常快,非常適合大數據量之間的轉換,可以生成.sql文件.

################## 通過文件轉換數據庫信息 ######################

1. 通過.sql文件導入數據。

如果不是沒有辦法不推薦用這種方法,除非經過上面那兩種軟件轉換過的.sql文件。數據量小還好說,如果非常大的話,

各種問題太多。各種數據庫之間的語法有些是不一樣的,數據類型之間的轉換等等…修改起來太麻煩。

2. 通過.cvs/.xls文件導入數據

數據庫的圖形界面一般都提供這個方法,到處表信息到.cvs/.xls文件,然後再通過圖形界面導入到目標數據庫中.

如果不是一種數據庫的話,我認為還是這中方法比較好.但是有一點,就是在Oracle 導出的 number類型數據中到 .cvs

/.xls文件的時候會變成科學記數.

############### 建立odbc管道流進行轉換數據庫信息 ####################

把兩個數據庫的odbc都連接上,然後通過管道流轉換之間的數據.(本人沒試過)

################ 寫程序轉換數據信息 #########################

建立兩個數據源讀取需要導出的庫中的全部數據,然後逐條依次寫入目標庫中.

可以其中一個數據源換成jdbc, 也可以量個都是jdbc.(優點是,可以不用考慮太多,但速度較慢)

用java 實現 h2數據庫和mysql數據庫實時數據同步

1、h2數據庫你寫一個dao類(例如:insert方法),mysql也寫一個mydao類(例如:insertmysql()),

當往h2數據庫執行插入的時候 new dao().inser(sql);

new mydao().insertmysql(sql);

2、也可以直接到數據庫操作寫存儲過程和游標自動同步。

3、使用第三方插件。有很多這樣子的平台做企業數據一體化的

oracle數據庫中的表如何能夠導入到mysql中?

OGG全稱為Oracle GoldenGate,是由Oracle官方提供的用於解決異構數據環境中數據複製的一個商業工具。相比於其它遷移工具OGG的優勢在於可以直接解析源端Oracle的redo log,因此能夠實現在不需要對原表結構做太多調整的前提下完成數據增量部分的遷移。本篇文章將重點介紹如何使用OGG實現Oracle到MySQL數據的平滑遷移,以及講述個人在遷移過程中所碰到問題的解決方案。

(一)OGG邏輯架構

參照上圖簡單給大家介紹下OGG邏輯架構,讓大家對OGG數據同步過程有個簡單了解,後面章節會詳細演示相關進程的配置方式,在OGG使用過程中主要涉及以下進程及文件:

Manager進程:需要源端跟目標端同時運行,主要作用是監控管理其它進程,報告錯誤,分配及清理數據存儲空間,發布閾值報告等

Extract進程:運行在數據庫源端,主要用於捕獲數據的變化,負責全量、增量數據的抽取

Trails文件:臨時存放在磁盤上的數據文件

Data Pump進程:運行在數據庫源端,屬於Extract進程的一個輔助進程,如果不配置Data Pump,Extract進程會將抽取的數據直接發送到目標端的Trail文件,如果配置了Data Pump,Extract進程會將數據抽取到本地Trail文件,然後通過Data Pump進程發送到目標端,配置Data Pump進程的主要好處是即使源端到目標端發生網絡中斷,Extract進程依然不會終止

Collector進程:接收源端傳輸過來的數據變化,並寫入本地Trail文件中

Replicat進程:讀取Trail文件中記錄的數據變化,創建對應的DML語句並在目標端回放

二、遷移方案

(一)環境信息

OGG版本    OGG 12.2.0.2.2 For Oracle    OGG 12.2.0.2.2 For MySQL    

數據庫版本    Oracle 11.2.0.4    MySQL 5.7.21  

OGG_HOME    /home/oracle/ogg    /opt/ogg  

(二)表結構遷移

表結構遷移屬於難度不高但內容比較繁瑣的一步,我們在遷移表結構時使用了一個叫sqlines的開源工具,對於sqlines工具在MySQL端創建失敗及不符合預期的表結構再進行特殊處理,以此來提高表結構轉換的效率。

注意:OGG在Oracle遷移MySQL的場景下不支持DDL語句同步,因此表結構遷移完成後到數據庫切換前盡量不要再修改表結構。

(三)數據遷移

數據同步的操作均採用OGG工具進行,考慮數據全量和增量的銜接,OGG需要先將增量同步的抽取進程啟動,抓取數據庫的redo log,待全量抽取結束後開啟增量數據回放,應用全量和增量這段期間產生的日誌數據,OGG可基於參數配置進行重複數據處理,所以使用OGG時優先將增量進行配置並啟用。此外,為了避免本章節篇幅過長,OGG參數將不再解釋,有需要的朋友可以查看官方提供的Reference文檔查詢任何你不理解的參數。

1.源端OGG配置

(1)Oracle數據庫配置

針對Oracle數據庫,OGG需要數據庫開啟歸檔模式及增加輔助補充日誌、強制記錄日誌等來保障OGG可抓取到完整的日誌信息

查看當前環境是否滿足要求,輸出結果如下圖所示:

(2)Oracle數據庫OGG用戶創建

OGG需要有一個用戶有權限對數據庫的相關對象做操作,以下為涉及的權限,該示例將創建一個用戶名和密碼均為ogg的Oracle數據庫用戶並授予以下權限

(3)源端OGG 管理進程(MGR)配置

(4)源端OGG 表級補全日誌(trandata)配置

表級補全日誌需要在最小補全日誌打開的情況下才起作用,之前只在數據庫級開啟了最小補全日誌(alter database add supplemental log data;),redolog記錄的信息還不夠全面,必須再使用add trandata開啟表級的補全日誌以獲得必要的信息。

(5)源端OGG 抽取進程(extract)配置

Extract進程運行在數據庫源端,負責從源端數據表或日誌中捕獲數據。Extract進程利用其內在的checkpoint機制,周期性地檢查並記錄其讀寫的位置,通常是寫入到本地的trail文件。這種機制是為了保證如果Extract進程終止或者操作系統宕機,我們重啟Extract進程後,GoldenGate能夠恢復到以前的狀態,從上一個斷點處繼續往下運行,而不會有任何數據損失。

(6)源端OGG 傳輸進程(pump)配置

pump進程運行在數據庫源端,其作用非常簡單。如果源端的Extract抽取進程使用了本地trail文件,那麼pump進程就會把trail文件以數據塊的形式通過TCP/IP協議發送到目標端,Pump進程本質上是Extract進程的一種特殊形式,如果不使用trail文件,那麼Extract進程在抽取完數據後,直接投遞到目標端。

補充:pump進程啟動時需要與目標端的mgr進程進行連接,所以需要優先將目標端的mgr提前配置好,否則會報錯連接被拒絕,無法傳輸抽取的日誌文件到目標端對應目錄下

(7)源端OGG 異構mapping文件(defgen)生成

該文件記錄了源庫需要複製的表的表結構定義信息,在源庫生成該文件後需要拷貝到目標庫的dirdef目錄,當目標庫的replica進程將傳輸過來的數據apply到目標庫時需要讀寫該文件,同構的數據庫不需要進行該操作。

2.目標端OGG配置

(1)目標端MySQL數據庫配置

確認MySQL端表結構已經存在

MySQL數據庫OGG用戶創建

mysql create user ‘ogg’@’%’ identified by ‘ogg’;

mysql grant all on *.* to ‘ogg’@’%’;

#### 提前創建好ogg存放checkpoint表的數據庫

mysql create database ogg;

(2)目標端OGG 管理進程(MGR)配置

目標端的MGR進程和源端配置一樣,可直接將源端配置方式在目標端重複執行一次即可,該部分不在贅述

(3)目標端OGG 檢查點日誌表(checkpoint)配置

checkpoint表用來保障一個事務執行完成後,在MySQL數據庫從有一張表記錄當前的日誌回放點,與MySQL複製記錄binlog的GTID或position點類似。

#### 切換至ogg軟件目錄並執行ggsci進入命令行終端

shell cd $OGG_HOME

shell ggsci

ggsci edit param ./GLOBALS

checkpointtable ogg.ggs_checkpoint

ggsci dblogin sourcedb ogg@17X.1X.84.121:3306 userid ogg

ggsci add checkpointtable ogg.ggs_checkpoint

(4)目標端OGG 回放線程(replicat)配置

Replicat進程運行在目標端,是數據投遞的最後一站,負責讀取目標端Trail文件中的內容,並將解析其解析為DML語句,然後應用到目標數據庫中。

#### 切換至ogg軟件目錄並執行ggsci進入命令行終端

shell cd $OGG_HOME

shell ggsci

#### 添加一個回放線程並與源端pump進程傳輸過來的trail文件關聯,並使用checkpoint表確保數據不丟失

ggsci add replicat r_cms,exttrail /opt/ogg/dirdat/ms,checkpointtable ogg.ggs_checkpoint

#### 增加/編輯回放進程配置文件

ggsci edit params r_cms

replicat r_cms

targetdb cms@17X.1X.84.121:3306,userid ogg,password ogg

sourcedefs /opt/ogg/dirdef/cms.def

discardfile /opt/ogg/dirrpt/r_cms.dsc,append,megabytes 1024

HANDLECOLLISIONS

MAP cms.*,target cms.*;

注意:replicat進程只需配置完成,無需啟動,待全量抽取完成後再啟動。

至此源端環境配置完成

待全量數據抽取完畢後啟動目標端回放進程即可完成數據准實時同步。

3.全量同步配置

全量數據同步為一次性操作,當OGG軟件部署完成及增量抽取進程配置並啟動後,可配置1個特殊的extract進程從表中抽取數據,將抽取的數據保存到目標端生成文件,目標端同時啟動一個單次運行的replicat回放進程將數據解析並回放至目標數據庫中。

(1)源端OGG 全量抽取進程(extract)配置

#### 切換至ogg軟件目錄並執行ggsci進入命令行終端

shell cd $OGG_HOME

shell ggsci

#### 增加/編輯全量抽取進程配置文件

#### 其中RMTFILE指定抽取的數據直接傳送到遠端對應目錄下

#### 注意:RMTFILE參數指定的文件只支持2位字符,如果超過replicat則無法識別

ggsci edit params ei_cms

SOURCEISTABLE

SETENV (NLS_LANG = “AMERICAN_AMERICA.AL32UTF8”)

SETENV (ORACLE_SID=cms)

SETENV (ORACLE_HOME=/data/oracle/11.2/db_1)

USERID ogg@appdb,PASSWORD ogg

RMTHOST 17X.1X.84.121,MGRPORT 7809

RMTFILE /opt/ogg/dirdat/ms,maxfiles 100,megabytes 1024,purge

TABLE cms.*;

#### 啟動並查看抽取進程正常

shell nohup ./extract paramfile ./dirprm/ei_cms.prm reportfile ./dirrpt/ei_cms.rpt

## 查看日誌是否正常進行全量抽取

shell tail -f ./dirrpt/ei_cms.rpt

(2)目標端OGG 全量回放進程(replicat)配置

#### 切換至ogg軟件目錄並執行ggsci進入命令行終端

shell cd $OGG_HOME

shell ggsci

ggsci edit params ri_cms

SPECIALRUN

END RUNTIME

TARGETDB cms@17X.1X.84.121:3306,USERID ogg,PASSWORD ogg

EXTFILE /opt/ogg/dirdat/ms

DISCARDFILE ./dirrpt/ri_cms.dsc,purge

MAP cms.*,TARGET cms.*;

#### 啟動並查看回放進程正常

shell nohup ./replicat paramfile ./dirprm/ri_cms.prm reportfile ./dirrpt/ri_cms.rpt

#### 查看日誌是否正常進行全量回放

shell tail -f ./dirrpt/ri_cms.rpt

三、數據校驗

數據校驗是數據遷移過程中必不可少的環節,本章節提供給幾個數據校驗的思路共大家參數,校驗方式可以由以下幾個角度去實現:

1.通過OGG日誌查看全量、增量過程中discards記錄是否為0來判斷是否丟失數據;

2.通過對源端、目標端的表執行count判斷數據量是否一致;

3.編寫類似於pt-table-checksum校驗原理的程序,實現行級別一致性校驗,這種方式優缺點特別明顯,優點是能夠完全準確對數據內容進行校驗,缺點是需要遍歷每一行數據,校驗成本較高;

4.相對摺中的數據校驗方式是通過業務角度,提前編寫好數十個返回結果較快的SQL,從業務角度抽樣校驗。

四、遷移問題處理

本章節將講述遷移過程中碰到的一些問題及相應的解決方式。

(一)MySQL限制

在Oracle到MySQL的表結構遷移過程中主要碰到以下兩個限制:

1. Oracle端的表結構因為最初設計不嚴謹,存在大量的列使用varchar(4000)數據類型,導致遷移到MySQL後超出行限制,表結構無法創建。由於MySQL本身數據結構的限制,一個16K的數據頁最少要存儲兩行數據,因此單行數據不能超過65,535 bytes,因此針對這種情況有兩種解決方式:

根據實際存儲數據的長度,對超長的varchar列進行收縮;

對於無法收縮的列轉換數據類型為text,但這在使用過程中可能導致一些性能問題;

2. 與第一點類似,在Innodb存儲引擎中,索引前綴長度限制是767 bytes,若使用DYNAMIC、COMPRESSED行格式且開啟innodblargeprefix的場景下,這個限制是3072 bytes,即使用utf8mb4字符集時,最多只能對varchar(768)的列創建索引;

3. 使用ogg全量初始化同步時,若存在外鍵約束,批量導入時由於各表的插入順序不唯一,可能子表先插入數據而主表還未插入,導致報錯子表依賴的記錄不存在,因此建議數據遷移階段禁用主外鍵約束,待遷移結束後再打開。

mysqlset global foreign_key_checks=off;

(二)全量與增量銜接

HANDLECOLLISIONS參數是實現OGG全量數據與增量數據銜接的關鍵,其實現原理是在全量抽取前先開啟增量抽取進程,抓去全量應用期間產生的redo log,當全量應用完成後,開啟增量回放進程,應用全量期間的增量數據。使用該參數後增量回放DML語句時主要有以下場景及處理邏輯:

目標端不存在delete語句的記錄,忽略該問題並不記錄到discardfile

目標端丟失update記錄

– 更新的是主鍵值,update轉換成insert

– 更新的鍵值是非主鍵,忽略該問題並不記錄到discardfile

目標端重複insert已存在的主鍵值,這將被replicat進程轉換為UPDATE現有主鍵值的行

(三)OGG版本選擇

在OGG版本選擇上我們也根據用戶的場景多次更換了OGG版本,最初因為客戶的Oracle 數據庫版本為11.2.0.4,因此我們在選擇OGG版本時優先選擇使用了11版本,但是使用過程中發現,每次數據抽取生成的trail文件達到2G左右時,OGG報錯連接中斷,查看RMTFILE參數詳細說明了解到trail文件默認限制為2G,後來我們替換OGG版本為12.3,使用MAXFILES參數控制生成多個指定大小的trail文件,回放時Replicat進程也能自動輪轉讀取Trail文件,最終解決該問題。但是如果不幸Oracle環境使用了Linux 5版本的系統,那麼你的OGG需要再降一個小版本,最高只能使用OGG 12.2。

(四)無主鍵表處理

在遷移過程中還碰到一個比較難搞的問題就是當前Oracle端存在大量表沒有主鍵。在MySQL中的表沒有主鍵這幾乎是不被允許的,因為很容易導致性能問題和主從延遲。同時在OGG遷移過程中表沒有主鍵也會產生一些隱患,比如對於沒有主鍵的表,OGG默認是將這個一行數據中所有的列拼湊起來作為唯一鍵,但實際還是可能存在重複數據導致數據同步異常,Oracle官方對此也提供了一個解決方案,通過對無主鍵表添加GUID列來作為行唯一標示,具體操作方式可以搜索MOS文檔ID 1271578.1進行查看。

(五)OGG安全規則

報錯信息

2019-03-08 06:15:22  ERROR   OGG-01201  Error reported by MGR : Access denied.

錯誤信息含義源端報錯表示為該抽取進程需要和目標端的mgr進程通訊,但是被拒絕,具體操作為:源端的extract進程需要與目標端mgr進行溝通,遠程將目標的replicat進行啟動,由於安全性現在而被拒絕連接。

報錯原因

在Oracle OGG 11版本後,增加了新特性安全性要求,如果需要遠程啟動目標端的replicat進程,需要在mgr節點增加訪問控制參數允許遠程調用

解決辦法

在源端和目標端的mgr節點上分別增加訪問控制規則並重啟

## 表示該mgr節點允許(ALLOW)10.186網段(IPADDR)的所有類型程序(PROG *)進行連接訪問ACCESSRULE, PROG *, IPADDR 10.186.*.*, ALLOW

(六)數據抽取方式

報錯信息

2019-03-15 14:49:04  ERROR   OGG-01192  Trying to use RMTTASK on data types which may be written as LOB chunks (Table: ‘UNIONPAYCMS.CMS_OT_CONTENT_RTF’).

報錯原因

根據官方文檔說明,當前直接通過Oracle數據庫抽取數據寫到MySQL這種initial-load方式,不支持LOBs數據類型,而表 UNIONPAYCMS.CMSOTCONTENT_RTF 則包含了CLOB字段,無法進行傳輸,並且該方式不支持超過4k的字段數據類型

解決方法

將抽取進程中的RMTTASK改為RMTFILE參數 官方建議將數據先抽取成文件,再基於文件數據解析進行初始化導入

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/154727.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-11-16 14:14
下一篇 2024-11-16 14:14

相關推薦

  • 如何修改mysql的端口號

    本文將介紹如何修改mysql的端口號,方便開發者根據實際需求配置對應端口號。 一、為什麼需要修改mysql端口號 默認情況下,mysql使用的端口號是3306。在某些情況下,我們需…

    編程 2025-04-29
  • MQTT使用教程

    MQTT是一種輕量級的消息傳輸協議,適用於物聯網領域中的設備與雲端、設備與設備之間的數據傳輸。本文將介紹使用MQTT實現設備與雲端數據傳輸的方法和注意事項。 一、準備工作 在使用M…

    編程 2025-04-29
  • Python3.6.5下載安裝教程

    Python是一種面向對象、解釋型計算機程序語言。它是一門動態語言,因為它不會對程序員提前聲明變量類型,而是在變量第一次賦值時自動識別該變量的類型。 Python3.6.5是Pyt…

    編程 2025-04-29
  • Deepin系統分區設置教程

    本教程將會詳細介紹Deepin系統如何進行分區設置,分享多種方式讓您了解如何規劃您的硬盤。 一、分區的基本知識 在進行Deepin系統分區設置之前,我們需要了解一些基本分區概念。 …

    編程 2025-04-29
  • Python 常用數據庫有哪些?

    在Python編程中,數據庫是不可或缺的一部分。隨着互聯網應用的不斷擴大,處理海量數據已成為一種趨勢。Python有許多成熟的數據庫管理系統,接下來我們將從多個方面介紹Python…

    編程 2025-04-29
  • openeuler安裝數據庫方案

    本文將介紹在openeuler操作系統中安裝數據庫的方案,並提供代碼示例。 一、安裝MariaDB 下面介紹如何在openeuler中安裝MariaDB。 1、更新軟件源 sudo…

    編程 2025-04-29
  • 寫代碼新手教程

    本文將從語言選擇、學習方法、編碼規範以及常見問題解答等多個方面,為編程新手提供實用、簡明的教程。 一、語言選擇 作為編程新手,選擇一門編程語言是很關鍵的一步。以下是幾個有代表性的編…

    編程 2025-04-29
  • Qt雷達探測教程

    本文主要介紹如何使用Qt開發雷達探測程序,並展示一個簡單的雷達探測示例。 一、環境準備 在開始本教程之前,需要確保你的開發環境已經安裝Qt和Qt Creator。如果沒有安裝,可以…

    編程 2025-04-29
  • 猿編程python免費全套教程400集

    想要學習Python編程嗎?猿編程python免費全套教程400集是一個不錯的選擇!下面我們來詳細了解一下這個教程。 一、課程內容 猿編程python免費全套教程400集包含了從P…

    編程 2025-04-29
  • Python操作MySQL

    本文將從以下幾個方面對Python操作MySQL進行詳細闡述: 一、連接MySQL數據庫 在使用Python操作MySQL之前,我們需要先連接MySQL數據庫。在Python中,我…

    編程 2025-04-29

發表回復

登錄後才能評論