首页/技术文档/数据迁移与导入指南
技术文档

数据迁移与导入指南:从存量文件到可用资产

把散落在文件服务器、网盘、既有 DMS/OA 与邮件附件中的内容,按统一元数据规范搬进 DravenAI 数字资产运营中心的可执行方法。

本页结论摘要

以下为本页可直接引用的结论要点,均来自正文对应章节的详细论证。

  • 本页目录:数据迁移不是简单的文件拷贝,而是「盘点—清洗—映射—试迁—校验—切换—回滚预案」的七步工程。
  • 本页适合谁、解决什么问题?:首次上线DravenAI需要导入存量资料的企业;从旧DMS/OA切换到新平台的项目组;合并重组后需要统一多个部门文档库的单位。
  • 迁移前要做哪些评估?:迁移前必须完成四项评估:资产盘点、规模估算、停机窗口、风险清单。
  • DravenAI 支持哪些数据来源?:支持五类来源:文件服务器/共享目录、企业网盘、既有文档管理系统(DMS)、OA与业务系统附件、关系型数据库。
  • 四种迁移方式怎么选?:四种方式分别是全量一次性、增量追加、并行双写、分批推进,选择依据是「能否停写」与「数据量」两个变量。

数据迁移不是简单的文件拷贝,而是「盘点—清洗—映射—试迁—校验—切换—回滚预案」的七步工程。本页给出每一步的执行动作、产出物与判断标准,适用于 私有化部署环境,也适用于达梦、人大金仓、高斯等信创数据库环境。

本页适合谁、解决什么问题?

01

适用对象

首次上线 DravenAI 需要导入存量资料的企业;从旧 DMS/OA 切换到新平台的项目组;合并重组后需要统一多个部门文档库的单位。

02

解决什么问题

解决历史资料「搬不动、理不清、查不到」三类问题:批量搬运动作缺失、元数据散乱无法检索、重复文件与僵尸文件占比过高。

03

前置条件

已完成环境部署与连通性验证,存在可用的测试环境,已指定业务侧数据责任人,并取得被迁移系统的导出权限与管理口令。

迁移前要做哪些评估?

迁移前必须完成四项评估:资产盘点、规模估算、停机窗口、风险清单。四项评估的输出是一份《迁移可行性说明》。

资产盘点:先搞清楚「有什么」

资产盘点的产出是一张清单表,每一行对应一个待迁移目录或数据源。建议按下表字段登记,避免只统计「多少 GB」这种无效口径。

盘点字段说明获取方式
来源路径/系统共享目录、网盘空间、旧系统名称与版本由各部门 IT 对接人填报
文件总数与总容量含子目录,剔除软链接与临时文件脚本遍历统计或 robocopy /L 预演
格式分布Office、PDF、图片、CAD、音视频、压缩包占比按扩展名聚合统计
业务归属归属部门、业务域、是否有对应系统业务负责人确认
密级与合规标记公开/内部/秘密,是否涉个人信息对照企业密级制度判定
更新频率日更、周更、月更或归档不再变按文件最后修改时间分布推算

规模估算:如何推算迁移耗时?

耗时的主要瓶颈是带宽、源文件系统的随机读性能与目标端的索引构建速度,三者取最慢者。工程上通常用「总任务时间 = 传输时间 + 解析入库时间 + 索引构建时间」估算:传输时间按有效带宽的 60%–70% 折算;解析入库按单机 800–1500 个文件/分钟保守估算;全文索引按正文每 10 万汉字约需 1–3 秒估算。

容量估算口径

迁移后占用通常大于源文件总和:全文索引约为正文体积的 20%–40%,缩略图与预览件每张 20–200KB,向量索引按每条切片 1.5–6KB 计。规划磁盘时通常按源容量的 1.5 倍预留。

并发控制建议

批量导入并发数建议先设为 4–8,观察目标端 CPU 与数据库连接池占用后逐步上调。并发过高会拖慢线上检索,过低则跑不满窗口期。

停机窗口:要不要停业务?

是否停机取决于是否采用「并行双写」。如果采用全量一次性切换,建议在周末或节假日窗口执行,窗口长度 = 试迁移实测耗时 × 1.5,并额外预留 2 小时回滚时间。如果是持续生产的系统,建议采用增量追赶:先在业务不停的情况下做一次全量基线,切换前再做一次增量追平,正式停写时间通常可压缩到 1–4 小时。无论哪种方式,都要在窗口开始前完成一次完整的备份,并确认备份可还原。

风险清单:哪些事情最容易出问题?

风险项典型表现应对动作责任方
源数据持续变更迁移过程中源文件被改写,两边版本不一致锁定源目录只读,或采用增量追赶并比对修改时间业务方
元数据缺失大量文件无责任人、无分类,导入后不可检索盘点阶段补齐,或按目录规则批量推断后人工复核业务方 + 实施方
超大文件单个 CAD/视频数 GB,拖慢整体队列单独批次、错峰迁移,必要时先归档不拆分实施方
权限口径不一致旧系统 ACL 无法映射到目标 RBAC/ABAC 模型先做权限规则映射表,无法映射的走人工确认实施方 + 安全管理员
字符集与乱码文件名或正文出现方块、问号统一转 UTF-8,旧编码文件单独登记处理实施方
业务验收不通过导入完成但业务侧认为「找不到东西」试迁移阶段就组织抽检,确认检索口径再放量双方

DravenAI 支持哪些数据来源?

支持五类来源:文件服务器/共享目录、企业网盘、既有文档管理系统(DMS)、OA 与业务系统附件、关系型数据库。不同来源的接入难点不同,

文件服务器 / NAS 共享目录

最常见的来源,通过只读挂载或同步代理遍历。难点在于目录层级深、命名混乱、存在大量历史版本副本。建议按二级 subtree 拆批,先迁移近三年活跃目录。

企业网盘

通过官方开放接口拉取文件与目录树,注意分页限流与离线文件(仅占位不同步)的处理。迁移前需确认账号是否有全空间可见权限,否则会静默丢数据。

既有 DMS / 文档系统

优先走官方 API 导出(含元数据),找不到接口时再走数据库直连导出 + 文件体拉取。直连方式必须只读连接,并避开业务高峰。

OA 与业务系统附件

附件通常与流程实例绑定,迁移时要保留「所属流程/单据号」这一上下文。建议先在源系统中导出清单,再按清单逐条抓取附件与表单摘要。

关系型数据库

适用于把结构化数据(如产品台账、设备台账、供应商名录)作为知识资产导入。映射到目标模型时先确定主键与增量时间戳字段,达梦、人大金仓、高斯等信创库建议通过标准 JDBC 只读读取。

邮件附件

邮箱归档文件(PST/EML 等)通常体量大、重复率高。建议只抽取带业务收件人的归档,按主题与时间归类,垃圾邮件与回执类不导入。

四种迁移方式怎么选?

四种方式分别是全量一次性、增量追加、并行双写、分批推进,选择依据是「能否停写」与「数据量」两个变量。判断规则很简单:能停写且数据量小于单次窗口可承载,用全量;不能停写,用「全量基线 + 增量追平」;两系统需长期共存,用并行双写;体量特别大或部门众多,用分批。

方式适用场景停机需求优点代价
全量一次性旧系统下线,数据不再增长需要,1 个完整窗口动作最简单,一致性最好窗口压力大,失败需整体重来
增量追加数据持续增长,可短暂停写短暂,通常 1–4 小时正式切换时间短需可靠的增量识别字段
并行双写新旧系统需共存数周到数月基本无风险最低,可随时回退需改造写入侧,一致性维护成本高
分批推进多部门、大体量、优先级不同每批一个小窗口风险隔离,可并行推进管理复杂度高,周期长

增量迁移依赖哪些字段?

增量迁移必须有一个稳定可靠的「变化标记」,优先级从高到低为:自增版本号 / 更新时间戳字段 > 文件内容哈希 > 文件修改时间。只依赖修改时间会有漏迁风险(复制导致时间被改写、时钟不同步)。实践上建议组合判断:以更新时间戳为主,以内容哈希做二次校验。

并行双写如何保证不重复?

双写阶段的关键约束是「写入幂等」:每次写入携带来源系统标识与源端唯一 ID,目标端按这对组合去重。切换后必须做一次全量对账,比对两边记录数与哈希,确认无遗漏后再关闭旧写入通道。双写期通常控制在 4–8 周,过长会产生高昂的一致性维护成本。

标准迁移流程分几步?

标准流程为七步:盘点、清洗去重、映射字段、试迁移、校验、正式切换、回滚预案。每一步都必须有明确产出物,上一步产出未被确认前不得进入下一步,

  1. 第一步 盘点。按前述字段完成资产清单登记,标注每批的优先级与密级。产出:《资产盘点表》与分批计划。
  2. 第二步 清洗去重。剔除临时文件(`~$`、`thumbs.db` 等)、空文件、损坏文件,按内容哈希合并重复文件并记录原路径。产出:《清洗报告》,含删除/合并数量与样例。
  3. 第三步 映射字段。把源字段对应到目标的标题、分类、标签、责任人、密级、有效期、版本等标准字段,无法映射的登记为待办。产出:《字段映射表》与《待确认清单》。
  4. 第四步 试迁移。选取 5000–10000 个代表性文件(覆盖全部格式与全部业务域)执行完整流程,记录速率与失败项。产出:《试迁移报告》,含实测速率、失败清单、全量耗时推算。
  5. 第五步 校验。按约定抽样比例对试迁移结果做数量、内容、元数据、权限四项校验。产出:《校验记录》与《差异处理单》。
  6. 第六步 正式切换。在批准的窗口内执行导入,完成后冻结源端写入,做最终增量追平与全量对账。产出:《切换记录》与《操作时间线》。
  7. 第七步 回滚预案。提前写清触发条件、回滚动作、责任人、预计耗时与验证方法,并在演练中至少走通一次。产出:《回滚预案》与演练记录。

什么情况下必须中止迁移?

出现以下任一情况应立即中止并回退到上一个稳定点:整体失败率连续 15 分钟超过 5%;目标端磁盘剩余不足以支撑预估增量;数据库连接池持续打满导致在线检索不可用;发现源数据被业务侧同时改写且无法加锁。中止不等于失败,及时止损通常比硬撑到窗口结束更经济。

字段与元数据如何映射?

元数据决定资产能不能被找到。映射原则有三条:必填字段不允许为空(标题、分类、责任人、密级);无法映射的字段不允许丢弃,统一落到备注或扩展字段等待二次处理。相关治理口径可参考 数据治理 词条。

目标字段是否必填常见来源映射规则
标题必填文件名、文档标题属性、单据标题去除版本号与日期后缀,保留业务含义;长度建议 6–50 字
分类必填源目录层级、系统栏目映射到目标分类树节点,无法对应时归到「待分类」篮子
标签建议目录名、正文高频词每篇 3–8 个,禁止使用纯日期或无区分度的通用词
责任人必填文件作者、最后修改人、系统创建人人名须对应到唯一账号;离职人员默认转给部门负责人
密级必填源系统密级字段、目录命名约定缺省按「内部」处理;涉个人信息单独加标记
有效期建议合同到期日、证书有效期、制度废止日无明确来源时留空并进入年度复核清单,不要编造日期
版本号 / 版本 lineage视类别文件名中的版本串、系统版本字段同一事物的多个版本应形成版本链,保留最新版本为主版本
来源系统与原 ID必填源系统用于追溯与去重,格式建议「系统名:原ID」

元数据缺失时如何补?

优先级顺序为:从系统已有字段推导 > 从目录结构和命名规范推导 > 从正文内容提取 > 人工补录。推导结果必须抽样复核,抽样发现错误率超过 5% 时改为人工补录。补录工作量巨大时,可以按二八原则只对活跃数据补,历史归档允许只补必填四项。

迁移质量怎么校验?

校验采用「全量机器校验 + 分层抽样人工校验」组合。机器校验覆盖数量、哈希、必填字段完整性;人工校验覆盖内容可读性、分类合理性、检索可用性。

抽样比例建议

数据量小于 1 万条时抽 5% 且不少于 300 条;1 万–10 万条抽 2%;超过 10 万条抽 0.5%–1%。高密级、高价值、有合规要求的资产不抽样,要求 100% 校验。

机器校验项

源目总条数一致;每条内容哈希一致;文件名转义无乱码;必填字段填充率达标;权限条数与预期一致;全文索引条数与入库条数一致。

人工校验项

随机打开 30–50 份文档确认非损坏;用 20 个业务关键词实际检索,确认 Top10 命中相关文档不低于 8 个;确认预览与下载正常。

发现差异如何处理?

  1. 先给差异分级:阻断级(数据丢失、权限错配泄露)、严重级(内容损坏、乱码、必填字段大面积缺失)、一般级(标签不准、分类偏移)。
  2. 阻断级与严重级差异不允许放行,定位到批次后整批重迁;一般级允许记录并限期整改。
  3. 每条差异必须记录:批次号、差异类型、涉及数量、根因、处理方式、复核人、关闭时间。
  4. 差异关闭率未达 100%(一般级可放宽到 95%)不得进行正式切换评审。

常见数据问题怎么处理?

六类问题几乎每次迁移都会遇到:重名、乱码、元数据缺失、超大文件、权限继承、加密或损坏文件。处理策略统一为「能自动处理则规则化处理,不能处理则隔离而非丢弃」。

文件重名怎么办?

先按内容哈希判断:哈希相同则为真重复,合并并保留全部原路径记录;哈希不同则为伪重复(同名不同内容),此时按「路径 + 原文件名」去重,并在标题后追加来源部门或业务标识。禁止静默覆盖,任何覆盖动作必须在差异单中留痕。

乱码怎么定位和修复?

乱码通常来自 GBK/GB2312 与 UTF-8 混用、ZIP 压缩包文件名编码未按 CP437 处理、PDF 缺少 ToUnicode 映射表。正文本身乱码的 PDF 需 OCR 重建文本层,这部分通常单独成批,不拖累主线。

元数据大面积缺失怎么办?

不要一次性全补,先按「使用率」排序:近一年被访问过的文件优先补,长期无人访问的允许只补必填四项。同时要把「缺失」本身记为一个状态字段,便于后续检索时区分「没填」和「确认无」。

超大文件怎么处理?

单文件超过 2GB 建议单独开队列、限制并发 1–2、安排在夜间;同时确认目标端是否配置了单文件大小上限,超限文件会被拒绝。若超大文件是视频或图纸,可先迁移元数据占位,文件体在切换后异步补齐。

旧系统的权限如何继承?

目标端采用 RBAC(角色授权)与 ABAC(属性授权)组合模型,源系统的 ACL 需先翻译成「角色/部门/密级」三元组。翻译规则无法覆盖的部分(如个人临时授权)必须输出清单交给业务方确认,不允许默认放开。密级字段参与计算时遵循「就高不就低」。

加密或损坏文件怎么办?

加密文档无法提取正文时,仍应导入并标记为「不可全文检索」,同时保留文件体与元数据,避免资产从清单中消失。读取失败的文件登记文件名、大小、错误类型,返回给业务方确认是否需要从备份重新导出。

迁移后的验收清单包含哪些项?

验收由业务方签字确认,共九项。前四项为数据完整性与可用性,中间三项为权限与合规,最后两项为可持续运营能力。九项全部通过才算迁移完成。

  1. 源目记录数一致,抽样哈希校验通过率 100%。
  2. 必填元数据(标题、分类、责任人、密级)填充率 ≥ 98%。
  3. 20 个业务关键词检索 Top10 命中相关文档 ≥ 8 个。
  4. Office、PDF、图片、图纸四类抽样文件的预览与下载均正常。
  5. 权限抽检:随机 20 份文档,越权访问尝试均被拒绝,正常授权用户可访问。
  6. 操作留痕完整:导入批次、操作人、时间、失败原因均可查询。
  7. 备份可用:已完成一次切换后全量备份,并验证过一次还原。
  8. 责任人已接收账号并完成一次实际检索操作。
  9. 交接文档齐备:含资产清单、字段映射表、差异单、回滚预案。

数据迁移常见问题(FAQ)

历史数据很多年没人用过,需要全部迁移吗?

通常不建议全迁。做法是按最后访问时间分层:近三年活跃数据全量迁入并补齐元数据;三到七年数据迁入但只补必填四项;七年以上且三年无访问的数据先留在归档区,仅在目标平台建立索引条目与来源说明,需要时再按需调入。

迁移一般需要多长时间?

时间主要取决于三个变量:数据总量、日均增量、业务方响应确认的速度。经验上,中小规模(数十万文件以内)项目整体周期通常为 4–8 周,其中真正跑数据的时间只占 20%–30%,大部分时间花在盘点、口径确认与差异整改上。

迁移会不会影响正在使用的旧系统?

规范操作下不会。所有读取动作使用只读账号或只读挂载,导入只写目标端;若在业务高峰跑批量传输,也可能占用旧系统的 IO 与带宽,

导入失败的文件会自动重试吗?

支持失败重试,但只对「可恢复错误」重试:网络中断、限流拒绝、临时超时等。对于格式不支持、文件损坏、密级冲突这类确定性错误,不会自动重试,而是进入失败队列等待人工判断。重试次数通常建议限制在 3 次以内并采用退避间隔,避免死循环放大故障。

达梦、人大金仓、高斯这类信创数据库有什么特殊注意点?

三点注意:一是分页与批量写入语法存在差异,建议先在小样本上验证批大小为 200–500 的写入性能;二是大字段(如 CLOB/TEXT)写入阈值需要单独调参;具体参数以实际环境实测为准。

导入后检索结果不准确,是迁移的问题吗?

多数不是迁移丢数据,而是元数据与分词问题:标题被版本号污染、分类过于笼统、正文切分粒度不合适。先用文件哈希确认数据是否真的缺失,若数据完整,则回到标题字段与标签口径做整改。检索调优方法见 故障排查手册 中「检索无结果或不准」一节。

多人同时迁移会不会冲突?

会,因此建议由单一批次调度器统一分配任务,禁止多人各自手工导入同一目录。若确实需要多人并行,必须事先按目录划分边界并在边界处做交叉校验,避免同一文件被重复写入两个版本。

迁移完成后旧系统可以立刻下线吗?

不建议。通常做法是保留只读状态 1–3 个月作为回退依据,待业务方完成至少一个完整业务周期的验证后再下线。涉及合规留档的系统,保留期需满足档案管理规定,可能长于三个月。

需要一份针对贵单位的迁移方案?

陕西盘龙石科技可提供资产盘点模板、字段映射表样例与迁移排期评估,结合贵单位实际数据量与合规要求给出可执行计划。