人大金仓数据迁移至新系统MySQL

一、迁移概述

1.1 核心目标

1.1.1 数据迁移

1.1.1.1 源系统

• 数据库类型：人大金仓数据库
• 迁移内容：仅迁移数据
• 不迁移内容：人大金仓的表结构

  1.1.1.2 目标系统

• 数据库类型：MySQL数据库
• 目标结构：新系统MySQL表结构

  1.2 迁移原则

  1.2.1 数据结构转换

• 源数据需根据新系统MySQL表结构进行转换和映射后写入

  1.2.2 数据完整性

• 确保迁移过程中数据的准确性和一致性

  二、迁移功能模块

  2.1 迁移配置管理【假设补全】

  2.1.1 数据源连接配置

  2.1.1.1 人大金仓数据源配置

• 功能类型：配置管理
• 表单字段：
  • 连接名称：文本输入，必填
  • 服务器地址：文本输入，必填
  • 端口：数字输入，必填
  • 数据库名：文本输入，必填
  • 用户名：文本输入，必填
  • 密码：密码输入，必填
  • 连接测试按钮：触发连接测试

    2.1.1.2 新系统MySQL数据源配置

• 功能类型：配置管理
• 表单字段：
  • 连接名称：文本输入，必填
  • 服务器地址：文本输入，必填
  • 端口：数字输入，必填
  • 数据库名：文本输入，必填
  • 用户名：文本输入，必填
  • 密码：密码输入，必填
  • 连接测试按钮：触发连接测试

    2.2 表结构与字段映射管理【假设补全】

    2.2.1 映射关系配置

• 功能类型：配置管理
• 功能描述：建立人大金仓源表字段与新系统MySQL目标表字段的映射关系
• 表单字段：
  • 源表选择：下拉选择（从配置的人大金仓数据源中读取表列表），必填
  • 目标表选择：下拉选择（从配置的新系统MySQL数据源中读取表列表），必填
  • 字段映射列表：子表单，用于配置每一对字段的映射
    • 源字段：下拉选择（根据选择的源表动态加载字段），必填
    • 目标字段：下拉选择（根据选择的目标表动态加载字段），必填
    • 转换规则：文本输入（可选，如：日期格式转换、代码值转换等）

      2.2.2 数据转换规则配置【假设补全】

• 功能类型：配置管理
• 功能描述：配置复杂的数据转换逻辑，如枚举值映射、数据拆分、合并等
• 表单字段：
  • 规则名称：文本输入，必填
  • 源字段：下拉选择，必填
  • 目标字段：下拉选择，必填
  • 转换类型：下拉选择（如：值映射、公式计算、字符串处理等），必填
  • 转换参数：JSON文本输入（根据转换类型动态变化，如值映射的键值对）

    2.3 迁移任务管理【假设补全】

    2.3.1 迁移任务创建与配置

• 功能类型：任务管理
• 任务属性：
  • 任务名称：文本输入，必填
  • 源数据表：下拉选择（从已配置映射关系的源表中选择），必填
  • 目标数据表：自动关联（根据映射配置自动带出）
  • 迁移模式：下拉选择（如：全量覆盖、增量追加、清空目标表后全量插入），必填
  • 条件筛选：SQL WHERE条件文本输入（可选，用于筛选源表部分数据迁移）
  • 执行计划：单次立即执行 / 定时执行

    2.3.2 迁移任务列表与监控

• 功能类型：数据监控
• 列表字段：
  • 任务名称：文本，支持排序
  • 源表：文本
  • 目标表：文本
  • 状态：文本（待执行、执行中、成功、失败、已停止），支持排序
  • 数据量：数字（源表读取行数/目标表写入行数）
  • 开始时间：日期时间，支持排序
  • 结束时间：日期时间，支持排序
  • 耗时：文本
  • 操作：查看日志、重试、停止（执行中状态）
• 筛选字段：
  • 任务名称：文本搜索
  • 状态：下拉选择（待执行、执行中、成功、失败）
  • 时间范围：日期范围（开始时间）

    2.3.3 迁移执行与日志

• 功能类型：数据监控
• 监控指标：
  • 实时进度：进度条展示（已处理/总数据量）
  • 执行速度：每秒处理行数
  • 错误记录：实时显示迁移过程中出现的错误数据和错误原因
• 预警规则：
  • 触发条件：迁移失败、错误数据超过阈值
  • 通知方式：站内消息、邮件
• 日志查看：
  • 展示方式：分页列表，可查看每次任务执行的详细日志
  • 日志内容：时间戳、日志级别（INFO, ERROR）、具体信息

    2.4 数据校验与修复【假设补全】

    2.4.1 迁移后数据校验

• 功能类型：数据监控
• 统计指标：
  • 数量校验：对比源表和目标表的数据总行数是否一致
  • 抽样校验：按规则抽样对比关键字段数据一致性
  • 业务规则校验：根据新系统业务规则校验迁移后数据的有效性
• 展示方式：校验报告，以表格和概要卡片形式展示校验结果（通过、警告、失败）

  2.4.2 异常数据处理

• 功能类型：CRUD
• 功能描述：对校验失败或迁移错误的数据进行查看和人工处理
• 列表字段：
  • 主键/唯一标识：文本
  • 源数据（快照）：文本（可展开查看详情）
  • 目标数据（快照）：文本（可展开查看详情）
  • 错误原因：文本
  • 状态：文本（待处理、已忽略、已修复）
• 操作：
  • 查看详情：查看完整的源数据和错误信息
  • 手动修复：提供界面将单条异常数据修正后重新写入目标表
  • 忽略：标记该条异常为已忽略，不再处理

    三、权限控制功能【假设补全】

    3.1 角色定义

• 角色名称：迁移管理员
• 功能权限：可访问和操作所有迁移配置、任务管理、数据校验功能

  3.2 数据权限

• 数据范围：通常为系统级，无数据隔离要求。