Rub-A-Dub-Dub……这都是关于数据中心的


在我上一篇博客中188bet备用网址怎么样 ,我们讨论了OT生态系统架构中各个级别的数据上下文化,特别是在操作数据湖中。118金博宝appLNS研究越来越多地听到术语“数据中心”用于描述处理、调节、上下文化、持久性和访问功能,这些功能对于数据管理和扩展新OT生态系统的能力至关重要。我们经常听到的问题是:

  1. “数据湖和数据中心是一回事吗?”

  2. “如果不是,那么它们是否必须像下面图1的绿色部分所示的那样组合?”

  3. 统一命名空间与数据集线器是一回事吗?

  4. 统一命名空间到底是什么?

虽然我不是IT架构师,但我的目的是对这些主题有一个常识,以指导客户并正确定位市场上可用的解决方案。我不会在这里涵盖所有可能的技术细节,但希望我的方法是有意义的,特别是对于必须越来越多地生活在充满IT的OT世界中的OT人员。让我们从一些基本的开始定义

2022 _lns - operationaldatalake v2 - 1200 x750

图1 -操作数据湖

数据项

在我的上一篇博客中,我引用了DataOps的几个类似定义,它们主要与分析中的数据管理有关。还有一些术语需要解决,再次考虑到定义的差异,这取决于定义的人:

数据湖一个物理位置上的大量原始数据(例如,云中的对象存储)

数据网格一种定义组织如何围绕数据域组织的模式,专注于将数据作为产品交付。

数据结构一个体系结构和一组数据服务,可以跨跨混合、多云环境的多个端点提供一致的功能。118金博宝app它标准化了跨云、内部部署和边缘设备的数据管理实践和实用性。数据结构本质上是向数据湖添加语义层,以平滑数据基础设施建模、可靠性和治理的过程。

支撑层语义层是帮助最终用户使用通用术语自主访问数据的数据表示。

数据沼泽存储的数据没有组织和精确的元数据来方便检索,即,由于缺乏流程、标准和治理,数据很难找到、很难使用,并且在脱离上下文的情况下被消耗,这是一个非结构化、不受治理和失控的数据湖。简而言之,我们有数据中心的原因。

UNS (Unified Namespace)轮辐模型,其中轮辐充当中央存储库,允许连接到边缘设备和其他平台和数据库(轮辐),减少必须维护的独立连接的数量。本质上,这个轮辐模型的中心是数据中心的一种形式。

数据- 575 x225

如果这些术语让你比刚开始阅读时更困惑,那就加入吧。我是一个加班的人,所以这对我来说是新的。这也是在团队中拥有优秀it /OT架构师的另一个原因。归根结底,这些术语支持连接和交付数据时必须处理的各种透视图,从体系结构和模式到服务和转换层。请记住,我们不仅仅是在讨论时间序列或分层资产数据。时间、事件、警报、工作单元、生产时间单元、材料和物料流以及人员等数据都可以被上下文化。这是一个棘手的问题,因为新的OT生态系统以多种模式运行,而不仅仅是我们在后台办公室发现的事务性模式。

数据中心架构

那么,如何组装数据中心呢?首先,让我们谈谈数据中心中发生了什么,然后我们将讨论它在OT生态系统架构中的位置以及组件和供应商的选项。

在我们的第一篇博客中,我们说过更广泛意义上的上下文化包括调节源数据,在源数据发生变化时将其组织起来以保持和同步,最后将其格式化以供任何需要它的应用程序使用。

因此,我们看到数据中心具有以下六个核心功能:

  1. 处理:同时处理批数据、流数据和间歇数据。

  2. 条件:筛选、过滤、插值和其他数据调节功能,其中也可能包括使用机器学习和其他高级技术。

  3. 同步:调整各种数据类型,特别是在时间维度上。

  4. 语境化:创建并存储数据之间的关系,即数据模型及其各种类型。

  5. 持久性:在源数据发生变化时维护关系。

  6. 访问:以数据使用者使用数据所需的格式提供对数据使用者的访问。这通常意味着支持从消费者通过Data Hub向下到其他系统和应用程序的双向流。

以上所有功能都理想地处于低代码/无代码环境中,这可能是更大的IX平台功能的一部分。118金博宝app并且基于松散耦合的微服务功能,用于元数据、工作流引擎、标准和自定义可视化以及避免硬编码数据结构和集成的应用程序。数据中心需要灵活。

此外,一些数据中心具有额外的功能,包括但不限于:

data-structure-cloud
  • 与许多高级分析平台和可视化应用程序的产品化连接。

  • 为各种用例预打包的应用程序,通常至少是可视化的。

  • 上传历史资产层次结构的能力,例如AVEVA PI AF

  • 能够扫描P&ID图并捕获标记数据和相关属性。

  • 能够读取所谓的智能p&id并捕获其数据。

  • 在3D工程图上叠加数据的能力。

  • 启动和操作外部应用程序的能力,如高级分析和数字双胞胎。这种“推送”工作流功能很有优势,因为Data Hub可以使用编程时间或条件(如源数据的更改)来触发外部应用程序,而不只是让外部应用程序从Data Hub“拉取”数据。

  • 操纵机器人、协作机器人和无人机并从它们那里获取数据的能力。

  • 与OSDU交换数据的能力®平台,包括能量学®数据格式,如WITSML™。这种能力尤其适合处理地面和地下数据的上游公司。

  • 使用Python和其他DevOps工具扩展和定制平台的能力。

OSDU (Open Subsurface Data Universe)是一个跨行业合作项目,旨在开发一个通用的、基于标准的、开放的基础,将勘探和开发数据整合在一起。Energistics是一个全球联盟,旨在促进上游油气行业数据交换标准的发展。OSDU和Energistics都是OpenGroup的一部分®该组织致力于为该行业制定开放标准。

显然,在数据中心中发生了很多事情。当然,人们可能不需要所有的可选功能,或者可以使用第三方或DIY组件来完成这些功能,但我们总是发现,如果它们是产品化和支持的,那么就更容易了。

现在来看架构。图2显示了概念OT生态系统。顶部中间的功能,内部OT平台,是数据中心的主要主题,以及边缘设备和本地本地历史记录。图3通过将图1的绿色部分分解为数据湖和数据枢纽扩展了这个概念。同样,我们将它们分开显示,因为根据供应商的产品或IT选择如何构建功能,可以单独获取它们,也可以合并。例如,一些运营公司决定使用单独的数据湖以原始格式存储所有源数据,使其与数据中心供应商的平台分离,然后将其提供给数据中心。注意,单独的方法意味着要管理更多的组件。此外,请注意,除了数据湖之外,数据中心还需要一个存储关系的地方,例如在图数据库中,尽管它也可以在组合安排中使用数据湖。

此外,数据湖可能有一个或多个数据库。例如,时间序列和NoSQL都可以,这取决于用户想要如何存储数据。这允许最终用户从提供时间序列、SQL和NoSQL的isv、数据库供应商或超规模商中选择组件。在组合数据湖和数据中心的情况下,优势在于供应商负责所有内部管道。而且IT部门知道,由于解决方案必须适应公司的环境,所以内部管道总是比供应商的管道要多。118金博宝app别忘了网络安全。

新的OT生态系统

数字2-新的OT生态系统

大量的选项

关于组件和供应商的选项,我们已经讨论了可以合并的数据库类型。和188bet备用网址怎么样 ,我们讨论了各种类型的数据模型,无论是分层的、基于对象的还是基于图的。最后,多个数据流的虚线表示将数据移动到满足业务用例和相关决策所需位置的选项。上下文化在多个层次上显示。

数据库供应商和超级规模商还没有全面的平台。但是,拥有正确基础设施合作伙伴的超大规模企业可以在实质上交付数据中心。超级规模商的关键是从提供一套服务转变为将它们组装成与领域相关的解决方案。显示组件的流程图是很好的,但这些并不能构成一个有效的解决方案。不幸的是,我们并没有看到数据库供应商这样做,因为他们的大部分业务都是由用例驱动的,而不是专注于工业操作。大多数isv和自动化供应商正在根据过去的平台和他们深厚的领域经验组装他们自己的数据中心解决方案。在某些情况下,他们使用基础设施供应商组件或第三方平台。而且,正如我们所指出的,一些基础设施供应商专注于云或边缘的核心功能,而另一些则在不同程度上整合了额外的功能。

2022 _lns-datahuboperationalarchitecture 1200 x976

图3 -扩展的数据中心概念

建造vs.购买

最终用户在构建数据中心时,明智的选择是构建还是购买。例如,如果一个人建造,一个人购买组件和组装,也就是说,你是生产者和集成商。还是从头开始编写DevOps代码?还是购买一个基本完整的数据中心平台来满足您的需求?当然,所有的选择都有利有弊,没有一个解决方案是完美的,如果不做一些额外的工作,“把发动机装进你的汽车”。因此,最终用户会对你的潜在选择进行测试,无论他们是拥有自己设计的内部资源还是外部供应商的产品。

也许我们建议的一个警告是,您可以将传统的历史记录转换并扩展为数据中心。尽管传统历史学家在存储时间序列数据方面发挥着至关重要的作用,但他们并不是简单地设计来这样做的。甚至不要让你的IT部门认为他们可以做到这一点。这就是为什么一些供应商正在重新构建他们的旧解决方案的主要原因,这些解决方案试图基于历史资产层次结构,通过api和映射(规范)技术将不同的数据类型粘合在一起,这在很大程度上变成了一个项目,而不是一个产品。对数据关系做一个更改,然后就发生了。这就像从墙上拔一块砖,墙就倒了。你好,更多的供应商依赖和额外的成本。因此,避免走上数据毁灭之路。

结束

那么,这给我们留下了什么?LNS Re118金博宝appsearch在我们所有行业垂直领域的终端用户客户报告说,他们已经优先考虑架构数据中心解决方案。它被视为数据民主化和跨企业扩展解决方案的关键。但数据中心解决方案的发展仍处于早期阶段。这一趋势肯定会加速。

同样,我们希望本博客有助于进一步理解数据中心的概念。此外,我们希望这能引发对IT和OT数据管理挑战的讨论和更好的理解。一如既往,欢迎您的反馈和意见。

自主操作化学工业焦点报告


本产业转型博客中的所有条目都代表了作者基于其行业经验的观点,以及他们对使用本文中描述的方法收集的信息的看法科研诚信.所有产品和公司名称均为其各自持有人的商标™或注册商标。使用它们并不意味着与他们有任何联系或认可。

现在就订阅

成为LNS的研究成员118金博宝app!

作为LNS研究的会员级合作伙伴,您将获得我们专业且可靠的咨118金博宝app询服务。以下为您的团队提供的独家福利:

  • 与经验丰富的LNS研究分析师定期进行咨询会议118金博宝app
  • 访问完整的LNS研究库118金博宝app
  • 参加仅限会员参加的行政圆桌会议
  • 重要、持续的产业转型知识(九)

基于我们扎实的研究方法和丰富的行业经验,让我们帮助您做出关键决策。

预定一个战略电话

类似的文章


订阅LNS研究博客118金博宝app

持续关注我们专家分析师的最新产业转型洞察

产业转型和卓越运营博客是一个非正式的环境,供我们的分析师分享对一系列技术和商业主题的想法和见解。118金博宝app