“为了协助用户构建杰出的智算根底设施,浪潮与英特尔在软硬件层面展开了广泛的协作,本次推出的新一代大数据•智算一体机交融了两边的技能优势,不只加快大数据剖析与AI模型练习与推理核算的深度交融,还支撑用户完结IT根底资源的一致办理,然后进一步提高资源运用率和运用开发功率。咱们将凭借该处理方案,协助更多客户构建高效、灵敏的大数据剖析与人工智能一体化渠道,推动数字化转型进程。”

　　在数据爆发式增加的今日,能否从海量数据中发掘价值,并构建才智型运用,已经成为影响安排竞赛力的重要因素。在此布景下,越来越多的安排开端构建大数据与人工智能 (AI) 渠道,在强化面向海量数据的处理才能的一起,赋能深度学习等立异技能的运用,以取得愈加高效、精确的数据洞悉,推动数字化转型战略的成功施行。但与此一起,大数据与 AI 渠道的构建也带来了杂乱的算力优化、软硬件交融、资源办理与运维等应战,安排需求寻觅立异的大数据与 AI 根底设施构建方案,以发挥数字化技能立异的巨大潜力。

　　为协助安排更有用地运用大数据与 AI 进行数字化转型,浪潮集团(以下简称“浪潮”)推出了依据英特尔® 架构的大数据•智算一体机处理方案。该一体机以浪潮SRDC一体化渠道为根底,采用了第三代英特尔® 至强® 可扩展处理器、英特尔® 傲腾™ 耐久内存(PMem)、英特尔® 以太网适配器等高功用硬件,并集成布置浪潮大数据渠道Insight、英特尔® BigDL [1](Analytics Zoo)、智能存储办理 (Smart Storage Management, SSM)、优化剖析包 (Optimized Analytics Package, OAP)等软件体系,旨在经过软硬件一体化集成,构成软硬件严密耦合的资源池,构建核算、存储、网络和AI运用严密交融的高功用大数据渠道。

　　浪潮大数据•智算一体机处理方案协助用户重构了大数据、AI 体系和传统 IT 体系集成布置架构,供给了一套高功用、高牢靠、高扩展、易布置的大数据AI交融一体化核算渠道,下降了IT根底设施的整体具有本钱 (TCO)。

　　当时,运用大数据技能与 AI 技能激活数据要素潜能成为工业数字化转型的方向。依据IDC核算,全球到 2025 年数据将到达 175 ZB[2],数据年复合增加率26%[3]。怎么提高大数据与 AI体系的功用与功率,协助客户高效处理巨量增加数据,满意客户在IT根底设施方面对高功用、高牢靠、高扩展、易办理、兼容性等多方面的需求,赋能信息和运用体系才智,成为 IT 根底设施厂商面对的重要应战。

　　在此布景下,安排开端遍及树立大数据与 AI 渠道,供给文件存储、数据办理、硬件资源调度,以及高功用核算才能,满意深度学习模型练习、深度学习推理、数据剖析等作业负载对核算、存储、网络等根底资源的运用需求。特别是在新基建建造行动方案落地、东数西算等国家重要战略工程施行的推动下,构建大数据与 AI 渠道已经成为很多安排施行数字化转型战略的重要规划。

　　可是,在传统 IT 根底设施建造中,大数据与 AI 渠道往往分隔布置在不同的服务器集群中,AI 渠道供给 AI模型练习资源,大数据渠道供给数据存储、数据办理、数据剖析资源,这种建造方法在架构上较为明晰,有利于分阶段的布置推动。但随着安排数字化转型战略的深化,其面对着如下应战:

　　▪ 怎么完结根底资源的一致办理与数据的充沛同享:大数据与 AI 渠道涣散布置的形式通常会导致两个渠道的根底资源无法完结一致办理,导致资源无法得到充沛运用。此外,因为大数据与 AI 渠道中的数据别离存储在不同体系中,无法快捷地完结数据同享,影响了数据价值的充沛发挥。

　　▪ 怎么完结快捷化产品施行:面对大数据渠道组件、AI 渠道、服务器、网络装备的多样性,怎么快速灵敏地交给大数据、人工智能,加快事务运用快速上线,对提高客户事务功率、提高客户竞赛优势具有重要意义。可是传统 IT 根底设施的施行触及硬件预备、网络装备、资源规划、软件布置验证等问题,需求很长的交给时刻。

　　▪ 怎么操控根底设施的 TCO:大数据和人工智能体系的建造触及软硬件的体系规划、集成、装置、布置、调试与运维,以及大数据、AI 软件体系的调试优化等作业,会带来巨大的资金和人力本钱,为 IT 根底设施和事务运用运转带来不知道危险。

　　▪ 怎么完结数据主动化存储办理:因为数据量快速增加,大数据渠道面对着存储数据量巨大、数据增量较高、数据类型稠浊等问题,这需求大数据渠道供给强壮的数据办理功用,可以对数据生命周期冷温热完结主动分层办理,依据数据冷温热分类,将数据迁移到相应类型的存储设备,例如冷数据迁移到物理带库,温数据迁移到高功用机械硬盘,热数据存储在固态盘或耐久内存中。

　　怎么化解上述应战,构建AI与大数据的深度交融渠道,完结AI与大数据的资源和数据同享,成为当时面对的严重应战。

　　浪潮新一代大数据•智算一体机方案依据浪潮大数据渠道Insight,交融大数据与人工智能组件,与 SRDC 一体化渠道完结工厂化装置布置,旨在构建人工智能深度学习端到端办理体系,为用户树立大数据剖析与人工智能模型练习推理的深度交融渠道,完结智算一体化布置交给,下降用户大数据和人工智能渠道的 TCO。

　　该一体机依据硬件特性对软件进行了深度优化,可大幅提高大数据事务场景处理功用,并经过预集成、预测验、预优化等办法,明显下降了体系交给/运维杂乱度,提高了体系稳定性,完结了极致功用和一站式交给布置才能。此外,它还可以针对不同的场景进行定制装备,为客户供给性价比最优的处理方案。

　　浪潮新一代大数据•智算一体机引荐运用第三代英特尔® 至强® 可扩展处理器、第二代英特尔® 傲腾™ 耐久内存、英特尔® 傲腾™ 固态盘、英特尔® 以太网等产品,可以供给高功用、高扩展的根底资源支撑。

　　▪ 第三代英特尔® 至强® 可扩展处理器:已针对云、企业、高功用核算、网络、安全和物联网作业负载进行优化,供给 8-40 个强壮内核以及广泛的频率、功用和功率挑选;一起集成了作业负载加快功用,其间包含英特尔® 深度学习加快技能、英特尔® 高档矢量扩展 512 技能和英特尔® SpeedSelect 技能。第三代英特尔® 至强® 可扩展处理器依据平衡、高效的架构,该架构可提高内核功用、内存和 I/O 带宽,为处理从数据中心到边际的各种作业负载提速。

　　▪ 第二代英特尔® 傲腾™ 耐久内存:英特尔® 傲腾™ 耐久内存 200 系列是英特尔新一代既支撑安全功用,又牢靠、耐久的内存模组。它供给大容量和原生耐久性,有助于从更大的数据会集攫取更多价值,一起,因为可以在更接近 CPU 的当地快速拜访更多数据,因而也提高了灵敏性。与第一代产品比较,第二代英特尔傲腾耐久内存均匀增加了 32% 的内存带宽[4]。

　　▪ 英特尔® 以太网适配器 E810-DA2:具有 100/25GbE 功用,支撑单个或双端口衔接,在 PCIe 4.0 x16插槽中供给了超卓的功用,并支撑运用程序设备行列 (ADQ)、动态设备个性化 (DDP)、RDMA iWARP和RoCEv2等各种高档功用,可以有用满意各种作业负载关于带宽和时延的苛刻要求。

　　浪潮新一代大数据•智算一体机搭载了浪潮云海Insight大数据渠道,该渠道具有数据智能化剖析发掘、多数据源协同核算、大规划集群一键式布置、异构渠道混合布置与资源精细化办理等抢先技能特性。渠道供给“一键式”装置布置功用,让大数据•智算一体机到达“开箱即用”的程度,协助用户加快运用体系上线时刻,一起下降体系办理员日常运维办理杂乱度。

　　在浪潮云海Insight大数据渠道,以及英特尔新一代软硬件产品与技能的根底上,浪潮与英特尔环绕智能存储办理、端到端智算一致管道的构建、大规划数据处理功用优化等方面,进行了深度的协作。

　　浪潮新一代大数据•智算一体机搭载了英特尔® 智能存储办理组件(Smart Storage Management,SSM),为用户供给存储优化和数据办理方案。SSM是英特尔在 Apache Hadoop生态体系中建议和保护的存储办理的体系级方案。SSM处于上层运用(数据引擎,流式核算等)与存储体系(HDFS,AWS S3等)的中间层,上层运用经过SSM与存储体系完结数据接入。它供给了对异构存储硬件的支撑,例如HDFS可以经过SSM充沛运用英特尔® 傲腾™ 固态盘和英特尔® 傲腾™ 耐久内存,完结动态优化数据存储。此外,SSM还供给了对远端存储与HDFS本地备份一致办理。

　　在数据办理方面,SSM 与浪潮云海 Insight 大数据渠道的无缝结合对渠道存储而言如虎添翼,面向分布式存储的智能办理不只可以免除外界触发完结数据办理,进一步细化办理粒度,并且完结了一次规矩定制即可完结全数据生命周期办理的高效处理方案。一起,浪潮云海 Insight 大数据渠道也为 SSM 供给了更大的舞台,支撑依据客户需求优化 SSM 服务办理运维才能,提高 SSM 的易用性与安全性,然后更好地开释智能存储办理的潜力。

　　浪潮新一代大数据•智算一体机为用户供给了端到端智算一致管道,可以在优化的根底设施层根底之上,交融核算引擎、存储服务、数据服务、数据作业台、办理渠道,构建端到端的大数据剖析和深度学习运用流水线,然后打造成一致的大数据剖析和人工智能渠道,经过运用 Apache Spark中的各种结构模型简化和加快 AI 处理方案的开发。

　　为了简化端到端的大数据剖析和人工智能交融开发和布置,浪潮新一代大数据•智算一体机在 Insight 中集成了才智核算组件BigDL (Analytics Zoo),旨在将大数据预处理、模型练习、模型推理与现有的大数据处理作业流整合在一起,构建端到端的大数据剖析和深度学习运用流水线,然后打造成一致的大数据剖析和人工才智渠道,经过运用Apache Spark中的各种结构模型简化和加快人工智能运用体系的开发。

　　浪潮云海 Insight大数据渠道集成了依据英特尔® 傲腾™ 耐久内存深度优化的 Spark。与 DRAM 内存比较,英特尔® 傲腾™ 耐久内存在每容量本钱方面有杰出的优势,这协助浪潮明显提高了 Insight大数据渠道的经济性。一起,经过优化后的 Spark 比照开源版别有用提高了功用。测验数据显现,在大数据场景的 Spark 离线核算中,IO密集型、内存密集型使命功用相较传核算划提高 2-5 倍[5]。

　　一起,Insight大数据渠道对MPP、HBase、Redis、ElasticSearch、Nifi、OpenTSDB等组件进行了深度优化,使其功用在英特尔® 傲腾™ 耐久内存、英特尔® 固态盘上得到大幅提高,一起可协助用户提高事务体系功用和用户体会。例如,在 HBase大数据量高并发查询场景下,英特尔® 傲腾™ 耐久内存全缓存比较内存部分缓存,可以将查询吞吐量提高 100% 以上[6]。

　　浪潮新一代大数据•智算一体机可以在浪潮一体化机柜渠道 (Smart Rack Data Center, SRDC) 得到最优装备与交给。SRDC 面向才智数据中心而规划,为用户供给了集成服务器、交换机、PDU等IT设备,以及配电单元、UPS、电池包、动环监控和根底资源监控(ISPIM)等配套硬件设备和软件的一体化机柜渠道。SRDC以整机柜为最小产品颗粒度,在工厂集成事务所需机柜内设备,依据用户需求集成预装运用软件,可完结IT设备快速布置及事务快速上线。

　　经过布置浪潮新一代大数据•智算一体机,用户可以构建大数据与 AI 一致渠道,有用处理大数据与 AI 渠道的资源与数据无法一致办理的问题,提高核算、存储、网络等资源运用率,一起节约在软硬件装备、功用优化等方面的时刻与本钱。其可以为用户供给的收益包含:

　　浪潮新一代大数据•智算一体机完结了软硬件深度整合,可以充沛发挥第三代英特尔® 至强® 可扩展处理器和第二代英特尔® 傲腾™ 耐久内存等产品的优势。它一起支撑端到端数智结合和多 AI 结构,集成BigDL (Analytics Zoo) 及TensorFlow 和 Spark 等深度学习与大数据集群的交融结构,具有百万级IOPS与微秒级的推迟,可全面提高端到端核算功率,提高渠道在大数据与 AI 负载中的功用体现,大幅缩短模型练习、数据剖析的推迟。

　　浪潮新一代大数据•智算一体机经过软硬件深度适配调优、预装置、预测验、预集成等办法,完结开箱即用,支撑快速交给布置,简化交给流程。SRDC一体化机柜渠道支撑依据用户需求进行定制,完结服务器、PDU、网络等设备工厂化集成,提高了IT根底设施的交给功率。

　　浪潮新一代大数据•智算一体组织建了软硬一体化监控渠道,可以完结一站式、可视化运维办理,纳管集群软硬件资源,完结对硬件、软件全生命周期办理,然后有助于进一步提高资源运用率,简化运维。

　　浪潮新一代大数据•智算一体机具有超卓的牢靠性与可用性。全冗余硬件架构全面消除单点故障,一起老练牢靠的多副本技能完结了数据等级的冗余,确保数据的安全与牢靠。

　　现在,浪潮新一代大数据•智算一体机已经在职业中完结了广泛运用,协助职业用户构建了杰出的智算根底设施。以交通职业为例,依据浪潮新一代大数据•智算一体机的智能存储与AI交融方案可以将智能存储、智能缓存、智能核算结合,为交通职业用户供给了的端到端数智一体处理方案。依据Insight一致数据作业渠道DataWorkBench,完结了才智交通数据接入、数据开发、数据查询、作业调度、数据可视化。

　　经过该方案,交通职业用户可将大数据与深度学习高效结合,在大数据集群上无缝运转 AI+大数据等事务运用,构建端到端渠道才能,完结数智一体才智交通交融剖析,为路途车辆行进剖析、区域流量剖析、违章行为剖析、区域测速剖析等归纳场景的落地供给了完好的职业演示。

　　依据英特尔® 架构的浪潮大数据•智算一体机处理方案交融了浪潮在智算根底设施方面自主立异与浪潮云海 Insight 大数据渠道,并充沛运用了第三代英特尔® 至强® 可扩展处理器和第二代英特尔® 傲腾™ 耐久内存等硬件,以及英特尔® SSM、英特尔® BigDL、英特尔® OAP 等软件技能,为客户供给了依据英特尔® 架构的全栈式大数据与 AI 处理方案,不只可以加快大数据剖析与 AI 的布置、下降开发门槛,还有利于提高模型规划与模型练习速度,下降 TCO。

　　未来,两边方案进一步在面向未来智算根底设施的异构参阅架构方面进行广泛协作,经过英特尔® 至强® 可扩展处理器、NNP芯片、FPGA、网络、内存和存储等根底硬件,以及各种数据库、人工智能渠道与开发工具,构建优化型的端到端全栈大数据与 AI 处理方案,协助用户更快速处理大规划的数据,加快大数据、AI 的开发与运用。

　　浪潮集团是我国抢先的云核算、大数据服务商,具有浪潮信息、浪潮软件、浪潮国际三家上市公司。首要事务触及云核算、大数据、工业互联网、新一代通讯及若干运用场景。已为全球一百二十多个国家和地区供给IT产品和服务。浪潮是我国最早的IT品牌之一,一向秉承立异的理念,数次在我国信息工业开展的重要历史阶段,经过供给抢先技能,提高竞赛实力,成为新一代信息技能领军企业,全面服务经济社会的数字化转型和高质量开展。

　　英特尔作 为职业引领者,发明改动国际的技能,推动全球前进并让日子五光十色。在摩尔定律的启迪下,咱们不断致力于推动半导体规划与制作,协助咱们的客户应对最严重的应战。经过将智能融入云、网络、边际和各种核算设备,咱们开释数据潜能,助力商业和社会变得更夸姣。如需了解英特尔立异的更多信息,请拜访英特尔我国新闻中心及官方网站intel.cn。

　　功用测验成果依据装备信息中显现的日期进行测验,且或许并未反映一切揭露可用的安全更新。概况请参阅装备信息发表。没有任何产品或组件是肯定安全的。

　　英特尔未做出任何明示和默示的确保,包含但不限于,关于适销性、合适特定意图及不侵权的默示确保,以及在履约进程、交易进程或交易常规中引起的任何确保。

　　英特尔并不操控或审计第三方数据。请您检查该内容,咨询其他来历,并承认提及数据是否精确。

　　©英特尔公司版权一切。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。其他的称号和品牌或许是其他一切者的财物。

　　[4] 依据英特尔 2020 年 4 月 27 日(基准)和 2021 年 3 月 23 日(新)的测验。配协作业负载/装备信息请见。成果或许不同。

　　特别提示：本网信息来自于互联网，意图在于传递更多信息，并不代表本网附和其观念。其原创性以及文中陈说文字和内容未经本站证明，对本文以及其间悉数或许部分内容、文字的真实性、完好性、及时性本站不作任何确保或许诺，并请自行核实相关内容。本站不承当此类著作侵权行为的直接职责及连带职责。如若本网有任何内容侵略您的权益，请及时联络咱们，本站将会在24小时内处理完毕。