做好探索的准备数据网格弱点。这篇文章不会受欢迎,肯定会引起争议。但有一个显而易见的问题需要引起注意。

在数据管理和治理团队中工作和领导团队就像生活在一个永久的团体治疗会议中。技术方面的抱怨出现了,但潜在的摩擦本质上是社会性的。我们如何合作?我们的角色和责任是什么?我们的数据消费者需要什么?为什么每件事都要花这么长时间,这么难?数据网格通过它的社会技术原则来解决这个问题:面向领域,data-as-a-product、自助服务、联邦、计算数据治理。它将数据和业务成果的软面放在首位。Thoughtworks的定义是:

数据网格是一种在复杂和大规模环境中共享、访问和管理分析数据的社会技术方法——在组织内部或跨组织。

技术方面更多的是体系结构而不是工具或平台,“数据网格与技术无关。”朋友们,这就是缺点。这是为什么。

我从数据架构和工程团队那里得到的第一个问题是,“我如何实现数据网格?”这个问题与实践关系不大,更多的是与遵循原则和创建数据产品有关,这些数据产品被组合到一个洞察解决方案中。认为数据网格不是技术的观点忽略了一点,即如果没有技术实现方面的考虑,它只是另一座象牙塔数据治理谈判和委员会的努力(虽然是联合的)。

虽然技术最终赶上了我们想要用数据做什么,特别是分析和AI,但技术只是促进了数据,并将数据网格软构件转化为可部署的产品。的分布式、动态、基于体验和结果的数字解决方案只有当数据功能利用了计算、存储和状态的解耦特性时才有效。这当然是云策略的一部分,但它包含到数字生态系统和元数据架构的所有节点和边缘,以便在上下文和控制上执行。这是一个非常复杂和复杂的范式。这意味着“数据作为产品作为数据网格”原则需要与社会原则一样的一流地位,因为它是技术存在的地方。

的确,你不需要购买数据网格。数据供应商引入了数据网格消息传递和价值主张,并邀请了数据网格的创始人、Thoughtworks的Zhamak Dehghani出席他们的峰会和网络研讨会混乱在解决方案和体系结构之间。实际上,这些演示的正确视角是如何使用任何技术来满足数据网格原则和商业机会。没有一个现代环境没有数据结构基础。但是在某些环境中,传统的分析体系结构模式和数据结构功能不适合操作场景,并产生了与传统数据仓库蓝图相同的限制。这就是数据网格真正开始有意义的地方。

面向领域的,自助服务,联邦计算数据治理根据结果、服务水平协议和用户体验来衡量。作为产品的数据通过有形的、可消费的、可互操作的和可移植的组件实例化了这一点。正是这些产品的组合创造了解决方案。产品不是解决方案。因此,要避免房间里的大象(技术),就必须付出更高的成本、更长的开发时间、持续的搁置状态和数字环境背后的技术债务。

社区正在意识到这一点。关于数据网格定义的早期介绍集中在面向领域和数据治理原则上。数据作为产品(我们生产什么)和自助服务(我们如何工作)的添加是将数据网格从学术转向实用并实现数据回报的必要添加。