新闻 / 数据咨询
2020 年 10 月 28 日
Data 咨询总监 Justine Nerce 和 Artefact Data Engineering 经理 Jean-Baptiste Charruey 撰文指出，Data 平台彻底改变了品牌存储、分析和使用 data 的方式，但要更有效地使用这些平台，就需要开始将 data governance 作为代码嵌入其中。.
随着全球经济开始从冠状病毒的最初冲击中恢复过来，我们可以预期企业将进入一个整合和重新评估的时期。然而，即使预算紧张，创新的需求也不会消失。新产品和新服务的推出仍然 占总收入和利润的 25% 以上.
创新需要准确、高质量的指导 data. .然而，要做到这一点，企业需要有以下基础 data 易于获取、有据可查且标准化，可供借鉴. .新产品和服务的开发周期越来越短，竞争也越来越激烈，因此企业需要不断改进其 data 方法，以跟上时代的步伐。.
data platform 的崛起很好地帮助了企业，尤其是那些希望构建下一代人工智能解决方案的企业加速获得 data。. 然而，很明显，品牌现在需要一种更强大、更高效、更有质量的方法，使其 data platforms 机箱不可知 - 可维护、可操作、可扩展，适用于任何 cloud、内部部署或混合基础设施.
data platform 的兴衰
企业不断革新其 data 方法，以获得市场优势。几十年来，data 仓库--过滤后 data 的大型储存库--已经让位于 data 湖--未提炼的 data 原料的巨大集中储存库。然而，事实证明，这些巨大的 data 仓库既笨重又难以管理。由于没有明确的敏捷流程来简化开发过程，交付周期被延长。.
因此，我们看到的是从过去的单体环境转向基于多个 data platforms 的分布式 data 架构。这些都是围绕 data 湖的软件和服务集，有助于提高 data 的利用率。企业通常会为每个业务领域和每个新项目构建多个 data platforms。这为开发团队提供了 快速获取他们所需的 data 和洞察力，以创造新的业务价值，满足他们当前的需求.
然而，随着 权力下放带来分散和重复. .许多公司投入大量时间和资源为特定环境构建 data platform。然后，在下一个项目或用例中，他们又不得不重新开始，而且由于团队的技术知识不同，结果也大相径庭。每当一个新项目开始时，团队基本上都要从头开始，因此成本会成倍增加。.
目前，公司正在开展的许多最有价值的工作（包括围绕 artificial intelligence 开展的工作）都是跨部门和跨领域的。. 高质量的 data 必须在团队和不同的 data platforms 之间共享，才能充分发挥其潜力，但当 data 受制于各种相互冲突的政策时，如何保持质量？需要在以下两个方面找到折衷方案：一方面，让团队拥有 data 的本地所有权，以便进行定制和创建；另一方面，实现方法标准化，以建立坚实的技术基础。.
进入 data 网格
如果不同领域之间没有一些连接组织，data platforms 将无法提供品牌快速开发所需的 data 质量和成本效益。幸运的是，他们有办法发展自己的方法。. 他们应将 data 架构从分散的 data platforms 集合发展为 Zhamak Dehghani 将其定义为 ‘data 网格’.
data 网是一种架构，在这种架构中，由独立跨职能团队拥有的分布式 data platforms 通过通用政策、管理和工具 ‘网 ’连接起来。这种方法可以 通过设置共享基础，为 data platforms 提供灵活性和弹性，同时也让团队可以自由定制自己的域.
这种方法将 data platform 从一劳永逸的项目转变为长期资产, 这样就避免了重复工作和不必要的资源消耗。然而，data 网格的缺点是，单个团队必须做大量工作，以确保完成工业化。这可能会耗费大量时间，而结果却远非完美。关键是要有一个模板来处理所有要求，使解决方案能够投入生产。然而，这个模板应该采取什么形式呢？
其主要组成部分是一套适用于所有 data platforms 的通用代码。这个 ‘data 哨兵 ’是一个解决方案组合，有助于处理和分析 data 以及向工业化过渡。. 其作用是通过开发有关 data 质量和文件的模块，监督和简化所有 data 流程，如元 data 的收集和清洗。.
data 哨兵可将 data 团队和专家从琐碎重复的 data 管理工作中解放出来。相反，他们可以 专注于更具战略性和创新性的任务，为企业创造新价值.
作为 data 哨兵的核心，data governance 作为代码应牢牢嵌入平台设计中，并在每个新的使用案例中得以延续。. 由于将 data governance 作为代码，data 从一开始就被 “拥有”，具有高质量、文档化、安全和合规性，并可通过 data 模型在整个组织内轻松访问.
让创新变得普通
Data 平台应 不断发展的产品, 旨在激活 data 并快速实现商业价值. .在不同的使用情况和要求下相互影响、, 它们使创新和发明更快、更具成本效益. 事实上，服务互惠可将实施速度降低 40%，通过提供 data 使用案例所需的质量和多样性，帮助各部门创造价值。.
企业有源源不断的新用例和新产品需要开发，尤其是在当前的环境下。互惠的 data governance 即代码方法提供了一个端到端的流程，使企业能够真正实现这些用例的产业化。. 通过强大、高度模板化的解决方案，项目和团队之间可以轻松共享高质量、精确的 data。无论何时需要深入了解新产品，都不会浪费时间.
仅有技术是不够的。要使 data platform 奏效，您需要采取一种迭代和横向的方法。只有这样，才能让创新在贵公司蔚然成风。.
