制造运营管理(MOM)

数据语境化——所有的喧嚣都是什么?


当客户计划在工业转型(IX)中进行扩展时,LNS Research收到的一些最常见的问题118金博宝app与DataOps和数据背景化有关。

  1. 什么是数据运维,特别是工业数据运维?
  2. 它和t有什么关系o数据模型数据语境化呢?
  3. 在哪里可以和应该将数据上下文化?
  4. 语境化有哪些不同的方法?
  5. 谁是这个领域的主要参与者?

虽然本文作者不是IT架构师,也不是数据科学家,但我认为我们可以对这些主题有一个常识,以指导客户并正确定位市场上可用的解决方案。以下是我对当前挑战的看法。我不会在这里涵盖所有可能的细节,所以期待未来对这个主题的研究。让我们从一些基本的定义开始。

什么是DataOps?

有几个来源主要从IT角度定义DataOps。这里有四个这样的定义:

DataOps是一种自动化的、面向流程的方法,由分析和数据团队使用,以提高质量并缩短周期时间数据分析

“DataOps是一系列原则和实践,承诺将组织、数据科学、BI、业务线、运营和IT中不同数据部落的相互冲突的目标结合在一起。”

DataOps是一种设计、实现和维护分布式数据架构的敏捷方法,它将支持生产中广泛的开源工具和框架。”

“一个企业协作框架,使数据管理目标与数据消费理想保持一致,以最大化数据派生的价值。”

1100年DataOps x358

我想大家都明白了。现在是工业的背景。这里我们必须记住,我们要处理多种数据类型:结构化、非结构化和半结构化(时间序列适合这里)。与大多数行业中发现的二维确定性数据不同,工业数据可能具有不确定性、噪声、多维性和许多其他问题,这些问题使得以有意义的方式组织数据以供消费非常具有挑战性。所以,记住大数据的4v:体积、多样性、速度和准确性。实际上,它是五个v,价值是第五个。但不要认为只有大数据才需要组织。

数据模型

在讨论上下文化之前,我们先来谈谈数据模型。它们是什么?为了保持简单,可以用以下两种方式之一来查看数据模型。首先,数据建模涉及设计和创建数据库结构,即数据如何存储。其次,数据模型是在特定领域中发现的对象和关系的抽象形式化。此外,模型可以是概念、逻辑和物理数据模型,包括空间数据模型。正如预期的那样,有多种方法来构建这些关系,包括但不限于:

数据模型边缘计算
  • 层次结构模型

  • 关系模型

  • 网络模型

  • 面向对象模型

  • 实体-关系模型

  • 语义模型

  • 文档模型

这些模型用于各种目的。在我们的例子中,我们最感兴趣的是层次、面向对象、语义和实体-关系模型。我们还记得,早期的流程历史学家使用关系数据库存储数据,但遇到了速度、粒度和可伸缩性的限制。因此,它们被专为时间序列数据设计的较新的平台所取代,例如著名的AVEVA PI系统。今天的RDBMS功能更加强大,但我们仍然使用专用的时间序列历史记录器来获得更好的性能和其他功能。

还要记住,我们不仅仅是在讨论时间序列数据或分层资产数据。模型可以包括其他信息,如时间、事件、警报、工作单元、生产时间单元、材料和物料流以及人员。当我们处理像MES/MOM和OPM/EPM这样的3级应用程序时,这一点变得尤为重要,在这些应用程序中,遗留解决方案具有严格的数据结构,尽管具有共同的功能,但不同供应商的数据结构有所不同。虽然清洁能源智能制造研究所(CESMII)已经开始着手解决这些问题,但目前还没有针对这些模型的标准。随着新形式的制造系统的出现,形成更灵活和敏捷的关系将是非常重要的。

为什么数据上下文化如此重要

在计算机科学中,语境化是基于实体的上下文信息识别与实体(例如,人、地点或事物)相关的数据的过程。简单地说,语境化是一种将原始数据从源关联到与实体相关的格式的方法,这样其他人就可以轻松地使用它,其他通常指分析应用程序。关键是按照消费者想要的方式来安排数据。

更广泛意义上的上下文化包括调节源数据、组织源数据以在源数据更改时持久保存和同步,最后将其格式化以供任何需要它的应用程序使用。用于描述描述并提供关于其他数据的信息的一组数据的术语是元数据。可以把元数据看作数据粘合剂。

为什么元数据很重要?我们都见过通过api将多个应用程序连接到多个数据源的图表——意大利面条式架构。元数据解开了这些结,简化了连接,并维持了秩序。有时术语数据模型用于描述特定的元数据结构。例如,一个人可能有一个泵的数据模型,它描述了关于泵的所有数据,包括时间序列数据,如压力、流量、温度Ure, amperage等。但是,请记住,大多数应用程序并不是为使用多种数据模型类型而设计的。至少可以说,这将使它们的架构变得混乱。因此,元数据方法可以更容易地处理所需的数据。

在哪里可以和应该将数据上下文化?

现在轮到好问题了。在考虑下图中的操作数据湖时,我们通常会考虑将所有不同的数据类型置于云环境中。但是情境化并不仅仅局限于云。事实上,我们可以也应该把它放在边缘和内部环境中。我们都熟悉最常见的背景化,即我们在控制系统中发现的资产标签层次结构,并在历史学家中再次反映出来。该层次结构基于企业、工厂、区域、单元/线/单元、设备、设备、控制模块等的S95模型。S95最近增加了一个物质流动模型,尽管它的使用受到了限制。

运营数据湖图1 -操作数据湖

那么,我们应该把它放在哪里呢?我们可以在控制系统和历史学家的层面上进行语境化。这是常见的ISA 95基于标签的资产层次结构,我们都非常熟悉。这里我们看到OPC UA,它有效地组织了属性,一个数据模型。事实上,OPC UA定义了一个泛型对象模型,包括相关的类型系统。除了这个数据模型之外,还定义了一些规则来描述如何将每个物理系统转换成符合OPC UA的模型,以便在OPC UA服务器中表示。每一种设备、功能和系统信息都可以用这个元模型来描述。基类型系统支持对象之间的关系,即所谓的引用,以及多个继承。因此,它可以与现代面向对象编程语言相比较。基本模型提供对象和变量类型以及引用和数据类型。 Based on this model, OPC UA can represent every kind of data, including its metadata and semantics. This is why OPC UA is good for handling the typical attributes of process data, plus events and alarms. Unfortunately, as of this writing there is no standard for data modeling the attributes in OPC UA. Most analytics solutions at the plant level tap the time series tag structure directly. But there’s more data needed than just time series. And integrating vibration data can also be problematic.

接下来,我们可以在Edge上进行上下文化,也可以使用对象数据模型。有些使用MQTT将数据传递到云。MQTT最初没有模型,但是随着Sparkplug的加入,对了,我们现在就好了。AMQP是另一种选择。我不会讨论AMQP或MQTT与Sparkplug vs. OPC UA。请记住,通过工业物联网,我们可以将传感器数据直接传输到边缘或云端,完全绕过控制系统。

最后,在将运行许多可伸缩应用程序的云级别,我们需要更复杂的上下文化来处理所有不同的数据类型和源,如图1所示。一个值得问的问题是,“我们是否需要在C语言中以原生粒度保存所有源数据大声?”供应商使用基于标记的模型、语义模型、对象模型和知识图(kg)来应对上下文化挑战,在某些情况下,还添加了图数据库。118金博宝appLNS Research认为,使用知识图表是更好的方法,但所有的方法都可以工作。层次模型的主要缺点是它在节点之间只能有一对多的关系,而其他方法可以有多对多的关系。一些包含语义模型和对象模型的供应商通常提供预定义模型,通常利用ISA 95资产层次结构以及额外的预定义关系。我将把详细的利弊留给以后的出版物。

data-structure-cloud

现在的问题是在边缘做什么。假设一个分析模型是在云中构建的,然后将在边缘运行。我们需要从云端获取数据,还是直接使用边缘数据模型?我想是的,Edge数据模型,如果当时的数据是分析应用程序所需要的。毫无疑问,会有很多用例,我们应该运行在边缘和云。当然,每一层都应该能够吸收较低层次的模型。因此,如果你有一个边缘数据模型,并将其发送到云端,它可以被合并到运营数据湖的元数据结构中。注意,一些供应商可以上传PI资产框架(AF)模型。因此,对于每一层来说,体系结构方法不是相互竞争,而是相互补充。理想情况下,所有这些数据模型都将同步。

最后,由于这一直是一个开放的问题,许多分析应用程序都进行了自己的上下文化,因为数据争论曾经占分析项目工作的75%。无论哪种方式,数据都必须转换成易于使用的格式。

主要参与者

可以这么说,这个领域有很多玩家。它们包括:

  • ERP

  • 数据库供应商

  • 自动化供应商

  • 独立软件供应商(isv)

  • 的hyperscalers

  • 最后是LNS Research所说的118金博宝app基础设施供应商

基础设施是一个新的类别,LNS Research让供应商解决DataOps体系118金博宝app结构的关键组件,但他们自己不提供完整的解决方案es。这些供应商大多是初创公司。

在考虑供应商环境时,重要的是要记住两个注意事项。首先,时间序列数据库不是历史学家。历史学家有更多的功能,他们在现场的位置是h非常有价值和安全。其次,仅仅拥有一个数据库并不意味着您已经或将获得一个适合您的目的的数据模型,更不用说与之配套的元数据结构,特别是为处理it和OT数据而设计的元数据结构。这是对于数据库供应商和超级规模商来说尤其如此。显然,IT部门可以自己动手构建一个数据库,或者将数据库与基础设施组件组合在一起。一些自动化供应商使用第三方解决方案,而大多数已经或正在构建自己的解决方案。

从这里往哪里走

那么,在哪里这留给我们什么?好吧,它让我们看到了新OT生态系统的世界,如图2所示。构建OT生态系统比过去的分层架构更加复杂,需要IT和OT协同工作。数据治理至关重要,而新的角色,比如数据工程师,将需要创建。仔细考虑和分析谁需要什么数据、何时何地以及出于什么目的,将有助于回答情境化问题。

新的OT生态系统数字2-新的OT生态系统

我们希望这篇博客可以帮助澄清背景化问题,而不是高度技术性的。我们希望这能引发对IT和OT数据管理挑战的讨论和更好的理解。未来的出版物将更深入地研究这个问题,并进一步阐明供应商和最终用户应该采取哪条路径,以及这些方向的利弊。

自主操作化学工业焦点报告


本产业转型博客中的所有条目都代表了作者基于其行业经验的观点,以及他们对使用本文中描述的方法收集的信息的看法科研诚信.所有产品和公司名称均为其各自持有人的商标™或注册商标。使用它们并不意味着与他们有任何联系或认可。

现在就订阅

成为LNS的研究成员118金博宝app!

作为LNS研究的会员级合作伙伴,您将获得我们专业且可靠的咨118金博宝app询服务。以下为您的团队提供的独家福利:

  • 与经验丰富的LNS研究分析师定期进行咨询会议118金博宝app
  • 访问完整的LNS研究库118金博宝app
  • 参加仅限会员参加的行政圆桌会议
  • 重要、持续的产业转型知识(九)

基于我们扎实的研究方法和丰富的行业经验,让我们帮助您做出关键决策。

预定一个战略电话

类似的文章


订阅LNS研究博客118金博宝app

持续关注我们专家分析师的最新产业转型洞察

产业转型和卓越运营博客是一个非正式的环境,供我们的分析师分享对一系列技术和商业主题的想法和见解。118金博宝app