随着医疗健康组织向数据驱动范式转型，从电子健康记录(EHR)、基因组测序到可穿戴传感器流和高分辨率放射学图像等各种数据集的规模和多样性已呈指数级增长¹,²,³。全球医疗健康数据量估计在2020年已达到2,314艾字节(exabytes)，且随着物联网(IoT)设备和远程患者监测平台的采用，这一趋势还在加速¹,²。临床环境中AI应用的成功部署在很大程度上取决于底层数据管理架构。AI模型需要高质量、无偏差且具有代表性的训练数据，以避免众所周知的"垃圾进垃圾出"现象。此外，通过溯源追踪和版本控制实现透明度、基于标准的互操作性以实现无缝数据交换，以及处理大型多模态数据集的能力，对于任何认真对待临床AI的组织来说都是不可或缺的前提条件¹。
为评估数据管理解决方案在此严苛环境中的有效性，行业标准日益依赖两个互补框架。FAIR原则确保数据可通过唯一持久标识符被发现、通过标准通信协议可访问、通过机器可读格式和标准化词汇表(如SNOMED-CT和LOINC)实现互操作、并具有明确许可和领域特定元数据以支持重用⁴。大数据5V特性则应对管理大规模临床数据集的技术挑战：
- 体量(电子健康记录、基因组和影像数据的庞大规模)
- 多样性(结构化、半结构化和非结构化格式的异质性)
- 速度(批处理和实时处理的需求)
- 真实性(数据质量、完整性和可追溯性)
- 价值(为研究和患者护理提取可行见解的能力)
采用这种结合FAIR-5V的视角，使医疗机构能够构建面向未来的基础设施，支持临床运营和AI研究¹。
临床数据架构的三大支柱
临床数据仓库：治理的堡垒
临床数据仓库(cDWH)作为医疗健康数据管理的既定标准已有数十年历史。作为中央数据枢纽，它协调来自各种临床源的数据，执行互操作性标准，并使用"写时模式"(schema-on-write)方法将患者数据组织成高度结构化的表格格式。cDWH的一个定义性特征是其对原子性、一致性、隔离性和持久性(ACID)属性的遵守，这确保了每次交易都可靠，并在系统故障时仍能保持数据完整性。原子性保证全有或全无的执行，一致性确保交易前后数据保持有效，隔离性防止并发交易相互干扰，持久性确保已提交数据永久保留¹。
这些属性使cDWH特别适合需要严格监管合规、可靠结构化分析和直接审计的环境¹,⁵,⁶。它们为在干净、良好编目的表格数据上训练稳健的机器学习模型提供了稳定基础，并特别适用于医院治理、长期趋势分析和商业智能仪表板。然而，cDWH在现代AI领域面临重大挑战。放射学图像、临床笔记和波形记录等非结构化数据的快速流入，使维护严格的固定模式方法日益困难。每个新数据元素都需要ETL(提取、转换、加载)重新设计，而扩展以容纳图像、笔记或实时源既昂贵又缓慢。此外，cDWH的批处理模式可能会延迟急性临床事件的检测，限制其在时间关键医疗决策中的效用¹。
临床数据湖(cDL)：灵活性与规模
为解决cDWH的局限性，临床数据湖(cDL)作为一种架构方法出现，它能够在原始格式中存储大量原始数据，无论是结构化EHR记录、半结构化的HL7或FHIR消息，还是非结构化的放射学图像和临床笔记。与cDWH不同，cDL采用"读时模式"(schema-on-read)方法，允许组织在无需预先定义模式的情况下摄取和存储数据¹,⁷,⁸。这提供了卓越的可扩展性和灵活性，能够支持多模态患者视图，并通过分布式文件系统和大数据框架(如Hadoop和Spark)支持近实时数据处理¹。
cDL在存储PB级多样化数据方面极具成本效益，非常适合探索性研究、机器学习原型设计、物联网和流数据分析，以及为新兴分析方法提供未来保障的数据资产。然而，这种灵活性伴随着显著的治理成本。如果没有严格的元数据管理和强大的数据治理政策，cDL可能迅速退化为"数据沼泽"，一个数据变得不可发现、不可靠且最终无法使用的存储库。缺乏对数据类型或业务规则的内置执行意味着插补逻辑和溯源追踪必须为每项研究手动重新编码，这给维护大规模研究项目中的数据质量和真实性带来了挑战¹。
临床数据湖仓(cDLH)：混合前沿
临床数据湖仓(cDLH)代表了一种更新、更复杂的混合方法，旨在将cDL的可扩展存储能力与cDWH的结构化查询、性能优化和ACID事务保证相结合。由Zaharia等人(2021)首次概念化，湖仓架构应用开放数据格式和全面的数据管理技术，提供一个统一平台，可在其中经济高效地存储原始数据并按需处理为结构化格式。在临床环境中，cDLH结合了湖风格的原始数据落地区与仓库风格的Delta或ACID表，以及跟踪已处理和未处理资产的单一元存储¹,⁹。
cDLH在三种架构中提供最全面的能力，支持在单一平台内同时进行实时数据摄取和结构化查询。它们非常适合需要将经典表格数据与大量非结构化研究数据(如图像和组学数据)集成的大型研究密集型机构，能够在同一数据集上同时支持标准报告和高级AI应用。然而，cDLH异常复杂，通常基于云原生，需要跨越传统数据仓库原则、现代大数据方法(分布式系统、流处理)和包括Docker、Kubernetes和身份管理在内的DevOps实践的跨学科专业知识。初始设置和持续维护需要大量资源，这对技术能力有限的组织构成了特殊挑战¹,¹⁰。
基于大数据5V特性的比较评估
为系统评估这些架构，本文使用基于Gebler等人(2025)定性发现的说明性评分框架，根据大数据5V特性对它们进行评估¹。如下方雷达图所示，cDWH在真实性方面得分很高，反映了其严格的模式执行和ACID合规性，但在多样性(限于结构化格式)和速度(批处理模式)方面明显滞后。相反，cDL得益于其读时模式的灵活性和分布式存储，在体量和多样性方面表现出色，但由于治理控制较弱而在真实性方面表现不佳。cDLH架构在所有五个维度上都保持一致的高分，反映了其平衡治理与灵活性的混合设计，尽管付出了更大的实现复杂性的代价¹。
应对复杂性：实施、维护与专业知识
除5V特性方面的技术性能外，医疗健康高管和技术领导者还必须仔细权衡与每种架构相关的操作权衡。Gebler等人确定了四个关键的复杂性维度：实施工作量、维护与可扩展性、所需技术专业知识以及协调复杂性¹。
实施工作量：cDWH需要详细的数据模型、广泛的ETL开发和稳定的数据库系统，通常遵循具有明确定义阶段(模式设计、ETL开发、测试和上线)的固定项目计划。尽管初始工作量很高，但由此产生的结构清晰稳定，有利于一致的数据管理。cDL受益于减少前期建模的读时模式方法，但需要大数据技术(如Hadoop和云对象存储)方面的持续维护和专业知识。cDLH需要编排写时和读时功能、复杂的ETL或转换管道、强大的安全概念以及分布式计算环境，导致三种架构中最高的初始集成和开发工作量¹。
维护与可扩展性：cDWH需要持续维护以扩展模式、更改数据源和调优性能，随着数据量增长，垂直扩展变得越来越昂贵。批处理结构可能成为实时应用的瓶颈。cDL通过分布式文件系统提供经济有效的水平扩展，但需要主动监控、严格的数据治理和持续的质量管理，以防止数据沼泽退化。cDLH支持计算和存储的动态可扩展性，但涉及最复杂的维护制度，因为湖和仓库组件必须独立管理和同步¹。
所需技术专业知识：cDWH依赖于关系数据库、SQL和ETL工具方面的成熟技能。cDL需要在大数据框架(Hadoop、Spark)、流处理工具(Kafka、Flume)和云存储方面具备专业知识，以及分析和建模非结构化数据的能力。cDLH需要最广泛范围的跨学科专业知识，结合传统数据仓库知识、现代大数据技术和云原生DevOps实践，这种组合对许多医疗健康组织构成了重大人员配备挑战¹。
战略建议与应用场景
最佳数据管理架构的选择在很大程度上取决于组织的特定需求、可用资源、数据景观和战略目标。基于Gebler等人记录的比较分析和真实世界实施情况，本文提出以下基于场景的建议。
值得注意的是，成本分析和遗留系统集成在架构选择中也起着关键作用。虽然cDWH可能因广泛的ETL开发和模式设计而产生高前期成本，但由于其稳定性，它们通常提供较低的长期运营成本¹,¹¹。cDL为大型数据集提供具有成本效益的可扩展性，但需要在元数据管理和系统监控方面进行持续投资。cDLH承诺在结构和灵活性之间取得平衡，但需要显著的初始集成成本和持续维护。医疗健康组织还应考虑其现有IT基础设施：cDWH通常与既定的关系数据库和临床信息系统提供更顺畅的集成，而cDL和cDLH可能需要额外的转换层和自定义连接器¹。
构建弹性、面向未来的数据生态系统
随着医疗健康行业继续拥抱AI和高级分析，底层临床数据基础设施必须发展以满足日益苛刻的要求。临床数据仓库为结构化报告和监管合规提供了必要的稳定性、治理和审计能力，但它们正日益受到现代医疗数据量和多样性的限制¹,⁵,¹²,¹³。临床数据湖为探索性研究和机器学习创新提供了所需的规模和灵活性，但如果管理不善，会引入可能损害数据质量的重大治理风险。临床数据湖仓作为最全面的解决方案，弥合了结构化可靠性与非结构化灵活性之间的差距，同时在统一平台上支持实时和批处理分析。
然而，cDLH的高技术复杂性和实施成本意味着它们目前最适合拥有足够资源和专业知识来管理混合环境的大型研究密集型机构¹,¹⁰,¹⁴,¹⁵。未来的研究和开发应着重于降低湖仓实现的复杂性，改善HL7 FHIR等临床标准的集成，并开发更易访问的工具，降低较小组织的入门门槛。最终，医疗健康组织必须将其架构选择与其即时分析需求、长期可扩展性目标和可用技术专业知识保持一致，以构建服务于临床运营和AI驱动医疗研究前沿的弹性、面向未来的数据生态系统¹。
免责声明：本文表达的观点是作者的观点，不代表他们所代表的组织。
参考文献
- Gebler R, Reinecke I, Sedlmayr M, Goldammer M. 增强临床数据基础设施以支持AI研究：数据管理架构的比较评估。J Med Internet Res. 2025;27: e74976. doi:10.2196/74976.
- Shilo S, Rossman H, Segal E. 革命的轴心：医疗健康大数据的挑战与前景。Nat Med. 2020;26(1):29-38. doi:10.1038/s41591-019-0727-5.
- Baloch L, Bazai SU, Marjan S, Aftab F, Aslam S, Neo T, 等。医疗健康大数据趋势与挑战综述。Int J Technol. 2023;14(6):1320. doi:10.14716/ijtech. v14i6.6643.
- Wilkinson MD, Dumontier M, Aalbersberg IJ, 等。科学数据管理和管理的FAIR指导原则。Sci Data. 2016; 3:160018. doi:10.1038/sdata.2016.18.
- Pavlenko E, Strech D, Langhof H. 临床数据仓库中数据访问和使用程序的实施：文献和公开可用政策的系统评价。BMC Med Inform Decis Mak. 2020;20(1):157. doi:10.1186/s12911-020-01177-z.
- Sebaa A, Chikh F, Nouicer A, Tari A. 医疗大数据仓库：架构和系统设计，一项改善医疗资源分配的案例研究。J Med Syst. 2018;42(4):59. doi:10.1007/s10916-018-0894-9.
- El Aissi ME, Benjelloun S, Loukili Y, Lakhrissi Y, El Boushaki AE, Chougrad H, 等。数据湖与数据仓库架构：比较研究。载于：《第六届无线技术、嵌入式和智能系统国际会议论文集》。2020. doi:10.1007/978-981-33-6893-4_19.
- Quix C, Hai R. 数据湖。载于：Sakr S, Zomaya AY, 编辑。《大数据技术百科全书》。Cham：Springer；2018。
- Zaharia M, Ghodsi A, Xin R, Armbrust M. 湖仓：统一数据仓库和高级分析的新一代开放平台。载于：《第11届创新数据系统研究会议论文集》。2021。
- Harby AA, Zulkernine F. 从数据仓库到湖仓：比较回顾。载于：《2022年IEEE国际大数据会议论文集》。2022. doi:10.1109/BigData55660.2022.10020719。
- Nambiar A, Mundra D. 现代企业数据管理中数据仓库和数据湖概述。Big Data Cogn Comput. 2022;6(4):132. doi:10.3390/bdcc6040132。
- Bellazzi R. 大数据与生物医学信息学：一个具有挑战性的机会。Yearb Med Inform. 2014;9(1):8-13. doi:10.15265/IY-2014-0024。
- Lee CH, Yoon HJ. 医疗大数据的前景与挑战。Kidney Res Clin Pract. 2017;36(1):3-11. doi: 10.23876/j.krcp.2017.36.1.3。
- Begoli E, Goethert I, Knight K. 用于生物医学研究和巨型生物样本库的异构数据管理与分析的湖仓架构。载于：《2021年IEEE国际大数据会议论文集》。2021. doi:10.1109/BigData52589.2021.9671534。
- Xiao Q, Zheng W, Mao C, Hou W, Lan H, Han D, 等。MHDML：用于多源异构数据的医疗湖仓构建。载于：《第11届健康信息科学国际会议论文集》。2022. doi:10.1007/978-3-031-20627-6_12。
【全文结束】