大数据平台：数据解决方案的基础 | 面向未来的专用平台指南

“数据分析和智能解决方案正在各组织中广泛普及，以推动业务增长。各组织应构建大数据平台作为坚实基础，从而大规模部署数据解决方案。这些数据平台应专为业务需求量身定制，因为其价值取决于它们所能提供的业务洞察和智能；同时，它们应具备前瞻性，能够充分利用数据基础设施服务和技术的持续进步。”

乌萨马·艾哈迈德，Artefact数据咨询合伙人

大数据平台旨在打破数据孤岛，整合实施高级数据分析和智能解决方案所需的各类数据源。它们为收集、存储和分析来自多个来源的海量数据提供了可扩展且灵活的基础设施。这些平台应采用业界领先的数据管理服务和技术，并实现以下三个关键目标：

大数据平台有多种基础设施选项：完全本地部署、完全cloud cloud，每种方案都有其独特的优势和挑战。企业在为大数据平台选择最合适的基础设施方案时，应综合考虑多项因素，包括数据安全与驻留要求、数据源集成、功能与可扩展性要求，以及成本和时间。 完全cloud架构具有成本更低且更可预测、开箱即用的服务与集成以及快速扩展性等优势，但缺乏对硬件的控制权，且可能无法符合数据隐私和驻留法规。完全本地部署的架构则能提供对硬件和数据安全的完全控制，通常符合隐私和驻留法规，但成本较高，且需要针对扩展进行长期规划。cloud兼具两者的优势，便于cloud 完全迁移cloud 但可能需要更复杂的部署配置。

许多组织选择采用混合基础设施来构建其大数据平台，原因在于组织内部要求将高度敏感的数据（如客户和财务数据）保留在自有服务器上，或者是因为缺乏符合当地数据隐私和数据驻留要求的政府cloud 提供商（CSP）。 这些组织也倾向于cloud或非敏感数据源保留在cloud 优化存储和计算资源成本，并利用云服务提供商提供的开箱即用的数据分析和机器学习服务。而对于那些在公司内部或国家层面没有数据驻留组织或监管要求的其他组织，则会选择完全cloud的基础设施，以实现更快的实施速度、更优化的成本以及易于扩展的资源。

图 1：混合Cloud 本地数据平台基础设施

大数据平台通常包含七个主要层级，这些层级反映了数据从“原始数据”到“信息”再到“洞察”的生命周期。组织应仔细考虑每个层级所需的适当服务和工具，以确保数据流的无缝衔接以及高效生成数据洞察。这些服务和工具应在大数据平台的每个层级中发挥关键作用，如图 2：大数据平台数据层所示。

图 2：大数据平台的数据层

大数据平台的开发应经历几个阶段，从最小可行平台（MVP）开始，随后进行渐进式升级。 企业应使其大数据平台的演进与日益增长的需求保持同步，以满足业务决策对更广泛、更快速的数据洞察和智能分析的需求。这些日益增长的需求会影响大数据平台的复杂性，具体体现在数据分析解决方案、数据源的规模与类型，以及内部和外部用户等方面。大数据平台的演进包括增加更多的存储和计算资源、引入高级特性与功能，以及提升平台的安全性和管理能力。

附件 3：大数据平台的演变

“我们发现，许多组织往往从一开始就构建包含先进且非必要功能的大数据平台，这增加了技术拥有成本。大数据平台的部署应从最小可行平台起步，并根据业务和技术需求逐步演进。在平台建设的早期阶段，组织应建立一个健全的数据治理和管理层，以确保数据质量、隐私、安全，并符合当地及区域的数据法规。”

 安东尼·卡萨布，Artefact数据咨询总监

大数据平台的构建应遵循关键的架构准则，以确保其具备前瞻性，从而能够轻松实现资源扩展、在不同的本地和cloud 迁移、服务升级与替换，以及数据采集和共享机制的扩展。

“相比集成度高但定制化受限的‘黑盒’平台，能够随着业务需求变化而灵活扩展的适应性强且模块化的平台更为理想。此类平台架构可完全或部分部署cloud cloud 的可扩展性和成本效益等优势，又能满足数据保护法规对隐私和安全的要求。”

FaisalArtefact数据工程经理

总而言之，大数据平台能为组织带来多重益处，例如集中管理数据源、支持高级数据分析解决方案，以及提供全企业范围的数据分析解决方案和数据源访问权限。 然而，实施大数据平台需要做出多项战略决策，例如选择合适的基础设施、采用面向未来的架构、选定标准且“可迁移”的服务、仔细考量数据保护法规，以及最终制定与业务需求紧密关联、并能最大化数据投资回报的最佳演进计划。