ETL异构数据源Datax_图形化数据同步_11

数据同步全量增量知识SQL和执行频次不一样，其他的都一样

文章目录

• • • • • 一、Oracle同步Mysql(全量)
        • • 1. 添加项目
          • 2. 添加数据源
          • 3. 添加任务
          • 4. 构建json
          • 5. 任务执行
          • 6. 查看日志
          • 7. 同步数量对比
        • 二、Mysql同步Oracle(全量)
        • • 2.1. 添加构建reader
          • 2.2. 添加构建writer
          • 2.3. 配置同步映射字段
          • 2.4. 构建json
          • 2.4. 选择任务模板
          • 2.5. 完成任务构建
          • 2.6. 数据清理
          • 2.7. 任务名称变更
          • 2.8. 任务执行一次
          • 2.9. 确定任务执行
          • 2.10. 查看执行日志
          • 2.11. 实时刷新日志
          • 2.12. 数据验证

一、Oracle同步Mysql(全量)

1. 添加项目

test-project

2. 添加数据源

3. 添加任务

4. 构建json

{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "oraclereader","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"splitPk": "IDNO","connection": [{"jdbcUrl": ["jdbc:oracle:thin:@192.xxx.xx.xxx:1521:orcl"],"table": ["TEST.OTBS1"]}],"username": "username","password": "password"}},"writer": {"name": "mysqlwriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=CONVERT_TO_NULL&useSSL=false&serverTimezone=CTT&nullCatalogMeansCurrent=true","table": ["otbs1"]}],"username": "root","password": "123456"}}}]} }

5. 任务执行

6. 查看日志

7. 同步数量对比

二、Mysql同步Oracle(全量)

2.1. 添加构建reader

2.2. 添加构建writer

2.3. 配置同步映射字段

2.4. 构建json

2.4. 选择任务模板

2.5. 完成任务构建

2.6. 数据清理

清空oracle数据otbs1

2.7. 任务名称变更

点击修改任务名称，默认是表名，datax-web未做配置可以二期开发，这是修改后的效果

2.8. 任务执行一次

2.9. 确定任务执行

2.10. 查看执行日志

2.11. 实时刷新日志

如果任务执行没有完成，查看实时日志需要点击刷新

2.12. 数据验证

总结

以上是生活随笔为你收集整理的ETL异构数据源Datax_图形化数据同步_11的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。