@流世界创客,Pravega创客大赛等你报名!

一个窨井盖坏了

多久能被工作人员发现?

在上海浦东

只需要几分钟

这离不开物联网设备提供的

实时数据支持

IDC预测到2025年

全球物联网设备数量

将达到416亿台

如何存储、利用这些

实时产生的流数据

成为一个亟待解决的问题

美剧《上载新生》大开“脑洞”,对未来数字化生活“狠狠”进行了一番畅想,人工智能提醒你买菠菜补铁,虚拟交警借助无人机飞到违章车主面前罚款……如果将迈向新阶段的数字化生活比作向目的地高速行驶的汽车,那么数据就是提供源动力的燃料(www.bk56.cn)。

如今,“燃料”的供应来源正在扩大。数据的创建、使用和存储位置不再局限于传统的数据中心,也不再仅限于云端。 数据源源不断地从各种来源和位置流式传输而来,包括通过无线和移动方式传送的数据。

随着边缘的数据量呈指数级增长,如同水龙头里的水,流数据哗哗地流出,5G网络的兴起,更是为流数据打开了流量“阀门”。容器云、高性能存储硬件水平的不断提高,让实时流处理拥有越来越广泛的市场前景。

流数据,简言之,是指没有明确定义开始或结束的连续数据流。比如,我们看的“下饭”综艺属于视频流、上下班听的音乐属于音频流。流数据的来源包括日常生活中的移动应用程序、安全摄像头、无人机等边缘设备。

这些来源丰富的 流数据呈现出以下特点:

1

数据实时到达;

2

数据规模宏大且不能预知其最大值;

3

数据到达次序独立,不受应用系统所控制;

4

数据一经处理,除非特意保存,否则不能被再次取出处理,或者再次提取数据代价昂贵。

流数据的这些特点,令企业开始重新审视应用程序以及基础架构的部署。加之,数字化时代,用户需要沉浸式、实时的数字体验和互动,流数据处理解决方案面临着诸多需求。

一方面,传统的批处理数据引擎已经完全无法满足现代企业对实时性的要求; 另一方面,现有的流数据系统大都基于消息模型,例如Kafka、Spark等,这些系统从本质上看,仅仅只是一些高速消息系统,因此很难适应当今物联网趋势下的各种复杂数据处理需求。

为了满足层出不穷的实时应用场景,同时降低大数据应用平台的投入,戴尔易安信流数据处理平台(Streaming Data Platform,SDP)应运而生。作为一个可弹性扩展的平台,SDP用于实时获取、存储和分析连续的流数据,可在同一个应用程序中同时处理实时和收集的历史数据。

该平台可以从各种来源捕获和存储流数据,这些来源包括物联网设备、网络日志、工业自动化、财务数据、实时视频、社交媒体源、应用程序和事件流。SDP能够处理来自多个来源的数百万个数据流,并确保低延迟和高可用性。

在今年的戴尔科技集团全球峰会,升级后的戴尔易安信流数据平台全新亮相。新的SDP能够在边缘提供强大的实时分析能力。同时占用空间较小,非常适合在边缘实时捕获、存储和分析流数据。

目前,戴尔易安信流数据平台已经在工业制造、建筑等行业得到实际应用,为客户业务提供预防性维护、检测等服务,并 参与到戴尔科技为中国赛艇队、皮划艇队开发的综合智能训练辅助系统中,提供边缘流数据处理解决方案。

而SDP的成功落地离不开其“得力干将”——流数据存储引擎Pravega。

“Good Speed”是如何实现的

Pravega在梵语中意为 “Good Speed”,其设计宗旨是成为流的实时存储解决方案。作为平台内的自研开源组件, Pravega是戴尔易安信流数据平台最基础的组件,承担着为所有其它组件提供流式数据存取服务的重任。

应用程序将数据持久化存储到Pravega中, Pravega的Stream可以有无限制的数量并且持久化存储任意长时间,使用同样的Reader API提供尾读(tail read)和追赶读(catch-up read)功能,能够有效满足两种处理方式的统一。

Kafka和Pulsar等消息中间件提供了非常适合当今数据密集型应用程序的现代Pub/Su基础架构。Pravega进一步增强了这种流行的编程模型,提供了云原生流媒体基础设施,并解决了令Kafka和Pulsar束手无策的架构问题,如分区的自动扩展、如何为大量分区保持高性能。

▲Pravega架构图

Pravega采取了存储分层的设计:

Tier 1存储

Tier1的存储通常部署在 Pravega集群内部,主要是 提供对低延迟,短期的热数据的存储。在每个Segment Store结点都有Cache以加快数据读取速率,Pravega使用Apache Bookeeper来保证低延迟的日志存储服务。

Long-term存储

Long-term的存储通常部署在 Pravega集群外部,主要是 提供对流数据的长期存储,即冷数据的存储。不仅支持HDFS、NFS,还会支持企业级的存储如戴尔易安信Isilon、ECS等产品。

存储分层使Pravega在延迟与吞吐量之间达到了一个最佳状态。这使得 Pravega成为向实时和批处理(分析)应用程序提供数据的理想存储基础。并且,Pravega是以Kubernetes Operator来对集群各组件进行有状态的应用部署,这可以使得应用的弹性伸缩更为灵活方便。

Pravega解决了使用传统消息队列数据丢失问题和自动伸缩难题,客户可以借助其降低存储和计算成本,减小运维压力,提高代码开发效率。此前, Pravega还联合TiDB构建了实时数据仓方案,提高了实时数仓系统的并行性,可用性与安全性。

丰富的应用场景,令Pravega拥有广阔的空间大施拳脚。下面我们跟随 戴尔易安信流数据平台产品营销经理Amy Tenanes的介绍,一起来了解下它是 如何为企业降低运营成本、提供实时洞察力和流程优化的。

Pravega的典型应用场景

游乐园设施的预防性维护

假设一个正常的振动读数是每秒3000次, 当振动读数过高时,Pravega可以提醒维护技术人员某个特定的游乐设施需要维护。同样的数据可以在以后使用完全相同的工具进行访问,有助于客户在更长的时间段内进行比较,总结出趋势,以预测故障或确定维修需求。

不仅是过山车,汽车行业同样也可以用到Pravega。它能够为油温、轮胎压力表等设置阈值,在轮胎漏气、发动机状况不佳等问题进一步恶化前,提醒客户进行预防性维护。

工业物联网中的异常检测

在制造业环境中,异常检测对节省时间、资源和开支极为重要。借助安置在生产线上的物联网传感器和摄像头,Pravega可以捕获图像和数据,比如传送带的速度和温度。

摄像机图像可以自动发现不符合规格的零部件或产品,然后发出警报,提醒哪里存在异常现象。利用来自传感器的数据,客户很容易发现机器的环境温度是否太高、传送带的速度是否正常等。

建筑业中施工的准确性和资源跟踪

在建筑环境中,无人机将实时视频和遥测数据流传送到Pravega。通过其提供的建筑项目实时进展情况,最新进展报告可以 将项目的数字效果图与实际进展情况进行比较,确保施工的准确性和规划时间的适当性。

同时,通过在地面建筑设备上安装传感器,Pravega可以实现物体检测,并对设备、人员和材料进行跟踪,确保在多个项目中对每一部分的资源进行最佳分配、利用。

“智能厨房”中的温度控制

Pravega可与大型储存冷柜中的数字温度计一起使用,实时获取流式温度读数,并 在温度超出范围时发出警报。这可以防止冷藏食品在冷柜门没关好的情况下变质,从而让食品获得尽可能长的保质期。

随着自动驾驶、股票交易等更多流数据应用场景的兴起,戴尔易安信流数据处理平台将服务更多领域,Pravega的价值也会进一步放大,“飞入”各行各业,帮助客户加速数字化转型。

各位少侠、侠女且留步

We want you!

与小伙伴合力闯荡

流世界的机会来了

今天,实时流无处不在

而Pravega为流式计算

重新构建了全新的存储

想不想

全面了解 Pravega的优秀特性

业界大牛来一场亲密接触

展示你和小伙伴

对于 实时数据分析的奇思妙想

由戴尔科技集团举办的

Pravega创客大赛

即日起开启报名通道!

为你们提供快速实现想法的机会

iPhone12等丰厚奖品已备好

让更多志同道合的人

拥抱流的世界!

或点击文末 报名参赛

主营产品:工程与建筑机械,分选、筛选机械,离心机,重选机械,采矿机械及配件,船