新闻动态

首页 - 新闻动态 - 产业动态

华为智能计算杭州峰会上的ARM场景应用和繁荣生态

2019-04-26 发布

4月26日,笔者应邀出席华为在杭州举行的智能计算大会,见证了华为发布TaiShan服务器五大解决方案,积极推进ARM产业发展与生态建设的盛况。

五大TaiShan服务器解决方案发布

华为中国智能计算业务部总裁万志、华为中国智能计算业务部TaiShan&Atlas 领域总裁张熙伟、华为处理器芯片业务部副总经理夏勤、华为浙江代表处代表方晓启动TaiShan解决方案发布仪式

为了充分发挥鲲鹏ARM处理器多核架构、高并发的计算优势,帮助客户面向应用持续优化计算性能和数据中心的运维成本,华为发布了大数据、分布式存储、ARM原生、高性能计算和数据库五大特定应用场景的TaiShan服务器解决方案,这是本次峰会的“正菜”。

华为智能计算 TaiShan&Atlas 领域总裁张熙伟表示,“TaiShan ARM服务器是华为智能计算最用‘芯’之作,是华为在芯片和计算领域长期投资和技术积累的结晶。我相信TaiShan服务器解决方案能够为客户提供最佳的计算体验,将高效能计算带入每一个数据中心!”大数据应用

在大数据领域,华为TaiShan服务器已支持了Hadoop、中移动苏研院、锐安、美亚、东方国信和华为自研的Fusion等大数据平台软件。大数据应用中数据量巨大,数据类型多且杂,需要进行数据的建模、分解、清洗和边界化等处理,TaiShan服务器ARM多核的优势恰恰最擅长并行处理这类任务。

例如,在运营商行业,每天会产生PB级别的数据,涉及位置定位、上网、流量数据,需要进行整体统计、预测分析和数据挖掘。这是典型的离线计算场景,关注的是整体计算任务的耗时。TaiShan服务器能将离线计算性能提升30%。

在金融行业,交易流水和征信记录查询通常是每秒几百的高并发请求,并要求快速响应,是典型的高并发高实时的计算场景。TaiShan服务器能够实现该场景性能提升25%,更快响应客户的查询请求。

另外,TaiShan大数据解决方案支持融合部署,客户可以在原有的非ARM集群上部署TaiShan服务器扩容,保护客户已有的投资,实现平滑、性能无损地扩容。

分布式存储

华为已经支持SUSE企业存储、开源Ceph、Ubuntu Ceph,FusionStorage 等分布式存储软件,做了很好的集成和性能调优。TaiShan还是利用多核的优势,能够在单台服务器并行化处理更多分布式存储的数据请求,从而实现性能的提升。

举两个典型场景,在使用全闪存热数据存储场景下,TaiShan服务器实现IOPS性能提升最高29%。在使用传统硬盘的温冷数据存储场景,利用鲲鹏处理器内置的硬件压缩引擎,TaiShan服务器减少数据压缩时间60%。ARM原生

当前市场上的移动应用基本上都是基于ARM处理器开发的,和TaiShan ARM服务器采用相同的指令集。因此,移动应用运行在TaiShan服务器上天然兼容,不存在底层的指令翻译环节,可以实现应用性能的大幅度提升。

基于这一原理,华为打造了包括云游戏等一系列的云手机解决方案。例如,华为智能手机年出货量超过2亿部,使用TaiShan服务器加速海量仿真测试,实现测试环境提前3个月Ready,保障新机型快速上市。在云游戏领域,华为客户反馈TaiShan服务器运行大型游戏有3倍性能的提升。在移动办公领域,单台TaiShan服务器可支持150个以上的云手机用户接入办公。

随着未来5G、AR/VR、超高清视频技术的广泛应用,ARM原生将迎来空前的发展契机。高性能计算

在高性能计算领域,经过两年的努力,华为已为TaiShan服务器构建了完备的ARM HPC软件栈,帮助客户快速部署高性能计算应用环境,统一管理TaiShan HPC集群,这部分工作主要包括:使能HPC集群管理、作业调度、编译器、数学库和MPI库等一系列底层工具软件和管理软件。与众多HPC应用软件提供商和开源社区合作,将一系列业界广泛使用的HPC商用及开源软件成功地移植到ARM平台上。

制造CAE/CFD仿真、气象预测和基因测序等特定的高性能计算应用,需要计算节点具有较大的内存带宽能力,才能够满足这类应用所需要的数据吞吐。基于鲲鹏处理器业界领先的8通道内存技术,TaiShan服务器能够提供高出业界33%的系统内存带宽,进而发挥TaiShan多核、高并发的算力优势。TaiShan服务器能够实现 15~30%的应用性能提升,可谓是加速制造、气象和基因行业高性能计算应用的最佳计算平台。数据库

在数据库领域,TaiShan服务器目前支持包含南大通用、人大金仓和达梦,以及Oracle MySQL、Tibero、MongoDB等国内外主流数据库。

实现最优的计算路径,并减少非业务引起的计算开销,是提升数据库性能的关键。为了发挥ARM多核架构的高算力优势,华为做了大量的软硬件协同优化,主要体现在以下几方面:

通过优化的锁机制,减少锁竞争引起的开销,从而提升多核的并发度。动态优化NUMA内存和应用的亲和性,实现业务对NUMA内存的最短访问路径。

发挥鲲鹏处理器的集成网络能力,通过内置网络与OS、业务之间的协同调度,实现网络数据包的智能路由,实现完成数据处理的最短计算路径。

通过这些优化措施,基于TaiShan服务器的MySQL数据库查询性能提升53%,交易性能提升35%。华为ARM生态建设的整体布局和两项关键举措


华为智能计算业务部TaiShan服务器业务总经理卢广介绍了华为公司对于ARM产业生态建设的整体布局和两项关键举措。


整体布局华为围绕产业组织、行业伙伴、开发者构建立体的ARM生态,希望通过华为公司持续的研发投入,引领产业创新和产业标准建设,从而帮助整个ARM产业提升市场空间,为此将通过“产学研”一体化合作,加强ARM的底层基础技术创新。针对行业伙伴生态,重点在于横向的水平生态合作,以及纵向的行业ISV合作,从而构筑基于ARM的完整解决方案。华为会大力投入包括技术、服务、营销和商业上的支撑,加速ARM的创新和商业落地。此外,华为很重视广大的开发者生态,培养ARM技术人才,为整个ARM产业长期发展奠定坚实的基础。第一项关键举措:行业伙伴的“同路人”

首先,华为希望突破传统硬件产品的僵化模式,以“服务”的姿态和方式,做各个行业伙伴的“同路人” 。首先在心态上,华为表示绝不会以“大企业”自居,而是坚持以客户和伙伴为中心,持续艰苦奋斗。其次在方法上,针对线上场景,华为会以互联网云服务的方式,让伙伴可以方便快捷的获取ARM开发验证所需的环境和工具。伙伴可以通过华为公有云,与GCC联盟联合构建的云上贵州平台,以及华为OpenLab,完成ARM的程序编译调试,兼容性验证,ARM指令集适配、基础性能摸底等工作。针对线下场景,华为研发人员会以驻场支持和远程支持等方式,提供专业的ARM集成和调优服务,与伙伴联合孵化。

第二项关键举措:伙伴激励计划针对高校科研组织,华为提供的权益激励包括:超过5部教程联合编写,与20以上高校联合学科共建,30所高校联合构建实验室。

针对行业ISV伙伴,华为提供的权益激励包括:面向行业的白皮书共同开发,提供1000以上的样机可免费申请,预留1000人月的华人研发人员专项对口技术支持,与伙伴联合孵化的解决方案,华为会借助华为的销售渠道联合推广。以及针对开发者的权益激励包括:数字化的培训材料,1000以上的开发板免费申请,以及前面提到的公有云服务账号免费申请。华为每年都会举办开发者大赛,投入100万的奖励基金来吸引广大开发者参与,提升创新活力,大赛产生的优秀作品,也会联合推广,帮助商业落地。合作伙伴与用户现身说法

亚信安全产品副总经理余凯分享了TaiShan服务器如何护航亚信安全移动办公解决方案,给移动虚拟化提供了非常好的高性能计算和存储平台和客户体验,该项技术在国家机关、运营商、医疗和金融都有了很多非常好的应用。

韩国最大的基础软件Tmax Group 高级副总裁Simon Kim介绍了与华为TaiShan服务器合作,性能到达其他对比平台的143.5%,认为TaiShan服务器将改变市场格局,希望中韩联手创新出更多更好的解决方案。

国内备份领军企业爱数公司战略渠道总监马力介绍了与华为TaiShan服务器合作的国产化灾备解决方案,称TaiShan服务器的性能超乎想象。

深圳鹏城实验室教育部国产基础软件工程研究中心主任吴庆波分享了鹏城实验室基于TaiShan服务器在AI应用中的实践经验。

网易副总裁,网易杭州研究院执行院长汪源介绍了华为高性能分布式存储解决方案帮助网易释放底层生产力,专注于业务层的研究和探索的合作。

武汉深之度科技有限公司副总经理张木梁介绍了基于TaiShan服务器和Linux操作系统进行产品解决方案研发和服务的情况。

上海交大网络信息中心王一超介绍了绿色计算产业联盟、华为、上海交通大学共建ARM HPC联合创新实验基地的情况。

本次峰会,笔者代表绿色计算产业联盟(GCC)发表了“生态绽放,给世界多一种选择”主题演讲,介绍了GCC对未来计算市场的判断,以及GCC助力ARM生态建设的工作情况。

笔者还与华为TaiShan服务器的大数据、分布式存储、原生应用、数据库等解决方案展台与华为技术专家、合作伙伴进行了深入的交流,观看了华为ARM合作伙伴联科集团展示的与华为合作在气象等领域管理大规模ARM的解决方案,南大通用与华为TaiShan合作在金融等领域展开布局,以及中标软件与华为合作配套中标麒麟高级服务器操作系统软件(ARM64版),优化适配支持华为鲲鹏916和鲲鹏920系列ARM服务器整机等情况。