智能计算的武侠美学,正在城市上空上演
对于喜欢看武侠片的读者来说,武侠的魅力就在于通过艺术的加持,将那些夸张的、非常规的武学招式,用符号化的审美来进行消解,使其在具备感官刺激的同时,不会让人产生不舒适感。 比如成龙电影中的一招一式轻盈敏捷,如同舞蹈一样充满节奏感;徐克则会通过科技和想象来演绎武侠中的超凡神功。
既能一力降十会,也要一巧破千斤,用来形容社会对智能计算的渴盼,也并不为过。众所周知,算力已经成为数字经济时代重要的增长引擎,算力跟不上,意味着各种高性能的算法无法规模化部署,众多产业智能化转型会面临停滞。 但解决方法显然不是一味地按照传统超脑和数据中心的思路来堆叠硬件,而是根据AI计算的特性来有的放矢地更新基础设施。 在喜欢强调“有多少算力就有多少智能”的计算领域里,真的能产生这种反差萌吗?以“智能时代·算力赋能”为主题的第二届中国超级算力大会ChinaSC,就有来自国内外产学研各界的大咖学者们,尝试带我们寻找未来的答案。 AI奇袭高性能计算,对垒需要连招 拆招之前,首先需要搞清楚的是,AI之于计算到底意味着何种变数。 如今,在小学生的科普读物中开篇都会提到:算法、算力、数据,构成了AI的三要素。而现实应用中,算力面临的挑战却很复杂。 新基建、数智化、IoT等等这些技术趋势落地,所表现出的就是数据量的规模无限扩大,数据更新频次趋近实时,这些都意味着,需要被高效处理的数据越来越多了。OpenAI的行业报告显示,AI算力需求每3.5个月就会翻一番。去哪里寻找更多算力,厂商们给了不少答案,比如云计算、高性能计算等等。
但AI算力并不是一个将其他产业构建拿来东拼西凑,就可以完成的工作,它需要将计算与AI进行体系化的思考。举个例子,AI发展也让计算资源稀缺的情况愈加凸显,如今,业内开始使用具备顶级计算能力的超算系统来为AI提供助力,这也对高性能计算提出了新的挑战: 一是性能,越来越多的企业利用HPC来满足海量数据和卷积神经网络的训练需求,但受限于摩尔定律逐渐趋近天花板,以及半导体工艺对芯片功耗的影响,从2013年开始,全球超级计算机的性能提升速度开始变得平缓,很难继续保持十年一千倍的发展速度。新基建庞大的数智化转型需求,该如何保证算力供给,已经变得紧迫; 二是融合, AI面对的是许多种类的计算任务和计算架构,高性能计算也要解决传统超算为数值计算设计的瓶颈,可以让多种芯片协同工作、实现分布式训练。而目前按照业内的共识,很多高性能计算都不是为人工智能设计的,导致AI所需要的能力没有提升上去,是需要迫切解决的。 三是功耗。经典高性能计算的性能功耗和性价比都比较低,事实上,登纳德缩放比例定律(Dennard Scaling)从2007年开始放缓,到2012年几乎变为零,也就是说,单个晶体管的功耗并不能伴随着密度的增加而下降,依靠扩大并行规模来提高性能、打造“算力恐龙”的方法效率低下,需要花费更多的时间和能耗。要应对数智化浪潮,就必须寻找更合理的架构。
多样性的算力,对计算基础设施提出了全新的要求。如果用武侠电影来形容的话,智能计算靠的不是一招一式的武打功夫,而是综合了科技手段、电影表现、拍摄特技等等共同营造出的整体效果。 既要抗打,又要灵巧,各路招式融会贯通,显然需要一次底层硬件和软件的整体进化。想要回答这个时代命题,产业领军者的战略选择与具体动作就十分值得关注了。 比武台上的江湖: 领军者华为如何应对算力大考? 早在2017年,中国工程院院士李国杰就曾提到,人工智能可能是中国在超算上弯道超车的一条途径。在本届超级算力大会上,中国工程院院士郑纬民也进一步强调,高性能AI算力基础设施对促进经济发展、产业升级和科技进步具有重要意义。 而华为作为ICT产业的“头雁”企业,在过去数年间正是按照这一发展方向布局数据基础设施。也凭借其在“大国算力”领域所做出的成绩,获得“大数据和智能计算领军企业”这一荣誉。 这样的重磅奖项,显然不是无的放矢。根据评选标准我们发现,这个奖项是授予那些在计算领域开展架构创新,在通用计算与人工智能计算产业的发展中做出巨大贡献的企业。那么,华为在计算领域的先进性到底体现在哪些方面,或许能够帮我们解决当下关键历史时期关于智能计算的种种困惑。
目前看来,华为针对前面提到的三个关键算力问题,做了以下工作: 1.底层研发“基本功”,软硬件协同突破算力性能瓶颈。 正如前面所说,单纯地升级制造工艺或堆叠芯片硬件,并不足以打破高性能计算的性能增长放缓问题。华为所提供的解决方案,则从计算架构、处理器、基础软件,以及华为云服务等一整个计算链条,通过长周期的研发投入,进而共同完成高性能计算集群的性能突围。 比如华为基于新一代2U双插槽机架式服务器,其功耗比竞争对手低20%。软件层面,华为独创IO智能预取和SPARK机器学习算法及图增强算法,使能鲲鹏在大数据场景获得倍级性能提升。推出的开源数据虚拟化引擎openLooKeng,则支持跨数据格式、跨数据源、跨数据中心的海量分析,华为合作伙伴北明软件所打造的北明数据资产管理平台V4.0,就基于openLooKeng大幅度提升了性能。 以江苏电信为例,去年7月成功上线了全球首个基于鲲鹏处理器的运营商大数据平台。经过双方携手完成基于鲲鹏处理器的开源Hadoop源代码编译,让关键的大数据业务组件在华为TaiShan服务器上的成功部署,实现了两种不同架构的服务器有效兼容。 软硬件的底层深度开发,是华为能够在智能计算领域厚积薄发的根本保障。
2.AI与HPC融会贯通,打造全面智能的计算系统。 武侠迷可能都知道,混练两种属性不同的上乘武功,可不是一加一等于二那么简单,很容易走火入魔。融合的过程就如同“增熵”,在增加新事物的过程中也会让原本无伤大雅的小问题持续叠加,不及时纠正最终会导致整个系统走向混乱、失序。 而人工智能算力系统更是具备高度异构、复杂多样、动态性强等等难题,极大地增加了系统的潜在不稳定性。如何将人工智能AI与高性能计算HPC融会贯通,提供弹性、泛在的算力服务,对于ICT厂商来说并非易事。 华为的多样性计算解决方案,则覆盖了云、边、端的全栈AI,一方面,建构了全面的AI产品创新矩阵,包含着昇腾系列AI芯片、全场景AI计算框架MindSpore、Atlas全系列产品和基于昇腾云服务等组成部分。无论是加速卡、加速模块、服务器等终端计算硬件,还是智能小站这样可以在边缘部署的产品,丰富的智能计算产品让不同场景各取所需。 同时,算力系统与人工智能协同发挥各自优势,实现统一的散热设计、交换网络和运维管理。这种整体层面的规划部署,通过有机整合,能够较为容易地同时满足科学性、先进性、稳定性、经济性等需求,也更容易去适应政府、金融、电信、互联网、大企业等不同行业应用需求,让计算系统智能化得以实现。 3.算力集群规模化部署,提升产业落地效能。 如果说传统武术与跆拳道搏击等现代武术相比有什么不同,那么现代武术更接近工业化、标准化的培养模式,而传统武术只能靠师傅教徒弟这种“人传人”模式培养,从规模和效率角度看显然不占优势。 同样,数智化转型也带动了诸如智慧城市圈、智能化工厂聚集区、大学高性能计算实验室、电子商务产业园、大湾区数字经济等等一批产业集群,针对这些集群提供针对性、极致性能的算力解决方案,无疑提升计算系统的功耗比。 因此,华为在2019年就开始打造鲲鹏、昇腾产业生态,通过AI算力集群来赋能产业集群,实现智能计算的规模化、极致化应用。 比如华为Atlas 产品就因为具备良好的集群性,可以将集群损耗降到同类产品最低,能够更好地支撑诸如智慧城市等规模化分布式并行计算的需求。 在实践中,华为提供基于Atlas AI服务器和ISV应用软件的一体化解决方案,帮助深圳交警建构了城市交通大脑,通过Atlas硬件搭建了一朵视频云,实现弹性调度和视频数资源池化,用来进行视频管理和视频分析。在边缘部署摄像机,交管部门可广泛采集人、车、物等信息,提高城市立体化、动态化防控能力。 从“散装模式”走向“集群作战”,也为智能计算产业探索出了一种更加节能绿色的路径。 经世致用,敢为人先:华为的算力武学 中国思想家黄宗羲曾经在《明夷待访录·兵制》篇中,着重提到武学的根本是“经世之学”“致用”。如今,多样性算力就如同武学一样,成为兴国兴邦的时代选择。 如何让算力基础设施建以致用、赋能新基建,是摆在ICT产业面前的核心命题。 解决了传统高性能计算与智能需求融合的既有问题之后,多样性算力想要走进千行万业,变成“经世致用”,需要面对的现实是: AI应用面对着无数差异化场景,意味着通用型解决方案力有不逮;复杂数据、边缘硬件、云端协作,需要对计算、存储、网络在内的系统进行综合考量,来架设计算系统等等。 对于华为来说,拿下“大数据和智能计算领军企业”殊荣固然重要,但更重要的是担当起引领产业发展、提供破局密码的责任。 因此在此次大会上,华为集群计算产业发展总监谢海波博士也提出,应该重视应用的“可获得算力”,形成“建以致用”的产业共识,以多样性算力承载“新基建”多样性业务需求。通过“政产学研用”五位一体的方式,共建“新基建”多样性算力的生态。 具体应该怎么做呢?我们在华为的新计算中看到了一种兼具现实主义和浪漫主义的“暴力美学”。 一是应用。让大规模AI计算以一体化的信息化解决方案,让千行千面的算力需求攻无不克。目前,鲲鹏大数据解决方案已经广泛部署和应用于电信、政府、金融等行业,以鲲鹏与浙江移动的合作为例,2019年,浙江移动相继完成了IT云鲲鹏服务器测试,营业厅前台系统、CRM、计费、大数据、CDN等系统的验证及上线商用。这其中,浙江移动的CRM& BOSS系统在鲲鹏大数据方案支撑下,整体得到了较大提升,在规模承载网络运营支撑业务的情况下,该系统现在已经稳定运行一年。 目前,浙江移动围绕网络云,IT云和移动云,已经打造了全球首个运营商领域ICT全场景样板点。 在政务云平台的建设过程中,也需要充分考虑不同类业务的实际需求,实现灵活部署。不久前上线的“壮美广西·玉林政务云(鲲鹏云)”,就依托鲲鹏的大数据解决方案,推出了广西首个市级公共数据开放管理办法,在全市推广数字政务一体化应用。 可以说,正是支持多种计算形态,从终端、边缘、云端全面的解决方案,将碎片化计算资源进行整合的通盘方案,让AI算力有了落地各个产业的现实基础。 二是开放。如果没有软件端、开发端等ISV伙伴来将AI算力进行有效落地,那么再高性能也只能埋没在数据中心里。于是我们看到,华为通过支持鲲鹏和X86混合部署、基础软件生态开源等,为开发者提供覆盖端、边、云的全场景开发框架。 上汽大众就采用TaiShan服务器构建研发HPC平台,针对开源 OpenFOAM软件进行调优,将研发效率提升了30%以上;日本U-NEXT基于TaiShan服务器构建视频内容存储平台,三年TCO整体可降低约20%。 通过对开发生态的赋能与扶持,各行各业正在华为的算力土壤上运掉自如,凌空飞翔。开放化的作风,也让华为得以在计算领域“开宗立派”,成为标杆。 而新基建所需要的算力,也得以用武侠般飘然若仙的姿态,飞扬在城市上空,并有希望将所有人带入未来奇景之中。
|
|||||||||||