英特爾第三代至強處理器解決AI難題
發布公告時:2021-05-27 17:13:52
如何消除智能化鴻溝?
企業在AI應用開發和使用各階段可能遇到的挑戰,雖然不全,但已足夠“挑戰”
意外!CPU成AI云服務熱門選擇
有趣的是,CPU作為通用處理器,在AI云服務的搶眼程度,并不亞于專用的AI加速芯片。通過實際應用分析,我們不難發現,如果不是專注于AI算法模型訓練和開發的企業,大多數企業使用AI時其實更偏推理型的應用。對他們來說,基于CPU平臺的云服務,特別是集成了可加速AI應用的AVX-512技術和深度學習加速技術的英特爾® 至強® 平臺的AI云服務,其實在很多應用場景中都足以應對實戰需求,且不論對于他們,還是云服務提供商而言,部署都更快、更便捷,上手門檻也低。
就這樣,可能與大家的印象相悖,CPU成為了很多云服務提供商輸出,以及企業采用AI云服務時的熱門選擇,這使得以CPU為基礎設施的AI云服務異軍突起。
用CPU做AI云服務,集成AI加速是前提
作為老牌CPU廠商的英特爾,早在2017年就于第一代英特爾® 至強® 可擴展處理器上導入了可以加速浮點運算(涵蓋AI運算)的AVX-512技術;而后又在2019年推出的第二代英特爾® 至強® 可擴展處理器上集成了可以加速INT8的英特爾® 深度學習加速技術,專攻推理優化;2020年和今年,分別面向多路和單、雙路服務器的第三代英特爾® 至強® 可擴展處理器依次亮相,后者靠INT8加速主攻推理,前者則通過同時支持INT8和BF16加速,兼顧了CPU上的AI訓練和推理任務。
2021年面向單路和雙路服務器的全新第三代英特爾® 至強® 可擴展處理器的主要優勢,包括再次提升AI推理性能
CPU AI云服務第一式,軟硬打包上手快
得益于英特爾提供的全面AI加速軟硬件組合,多數云服務提供商無需做更多調整和優化,就可迅速打造出針對AI的基礎設施即服務或AI云主機產品。簡單來說,就是將集成AI加速能力的英特爾® 至強® 可擴展平臺與我們提到的軟件工具,例如oneDNN或面向英特爾架構優化的AI框架軟硬打包,就可快速形成易于部署和擴展的AI云主機鏡像。
國內有云服務提供商早在2017年就進行了類似的嘗試,通過使用英特爾優化軟件,它激活了英特爾® 至強® 平臺的AI加速潛能,并在部分應用場景實現了可與GPU相媲美的推理性能。
如果僅有性能優化還不夠,還需要更快的模型部署能力,那就可以像CDS首云一樣導入OpenVINO?。它通過英特爾® 至強® 可擴展平臺、高性能 K8S 容器平臺和OpenVINO Model Server這三者的組合大幅簡化了AI模型的部署、維護和擴展。性能實測結果也表明,OpenVINO?不僅在用戶并發接入能力上優于首云此前采用的AI框架,在推理應用的時延等關鍵性能指標上也有良好表現。
CDS首云AI云服務方案架構
CPU AI云服務第二式,深度優化收益多
僅僅是導入英特爾已經就緒的AI軟硬件組合,就已能輸出令人滿足的AI云服務了,那么如果是和英特爾在AI云服務的算法及模型上進行更深入的優化,又會有什么驚喜呢?像阿里云這樣的頭部云服務提供商就通過實戰給出了答案。
以阿里云為例,其機器學習平臺PAI在與英特爾的合作中,利用了第三代英特爾® 至強® 可擴展處理器支持的bfloat16加速,來主攻PAI之上BERT性能的調優,具體來說就是以經過優化的Float32 Bert模型為基準,利用BF16加速能力優化了該模型的MatMul算子,以降低延遲。測試結果表明:與優化后的FP32 Bert模型相比,英特爾® 至強® 平臺BF16加速能力能在不降低準確率的情況下,將BERT模型推理性能提升達1.83倍。
阿里云PAI BERT 模型優化方案
CPU AI云服務第三式,扎根框架打根基
為這個問題輸出答案的是百度,它的開源深度學習平臺“飛槳”先后結合第二代和第三代英特爾® 至強® 可擴展處理器在計算、內存、架構和通信等多層面進行了基礎性的優化。其結果也是普惠性的——優化后的飛槳框架能夠充分調動深度學習加速技術,可將眾多AI模型,特別是圖像分類、語音識別、語音翻譯、對象檢測類的模型從FP32瘦身到INT8,在不影響準確度的情況下,大幅提升它們的推理速度。
英特爾深度學習加速技術可通過1條指令執行8位乘法和32位累加,INT8 OP理論算力峰值增益為FP32 OP的4倍
例如在圖像分類模型ResNet50的測試中,飛槳搭配英特爾今年發布的全新第三代英特爾® 至強® 可擴展處理器對其進行INT8量化后,其推理吞吐量可達FP32的3.56倍之多。
如此性能增幅,再加上CPU易于獲取、利用和開發部署的優勢,讓飛槳的開發者們可借助AI框架層面的優化,更加快速、便捷地創建自己可用CPU加速的深度學習應用。而為了給企業開發者們提供更多便利,百度還推出了EasyDL和BML(Baidu Machine Learning)全功能AI開發平臺,通過飛槳基于全新第三代英特爾® 至強® 可擴展處理器的優化加速,來為企業提供一站式AI開發服務。
百度飛槳開源深度學習平臺與飛槳企業版
展望未來,跨越智能化鴻溝不僅靠算力
好消息是,國內的云服務提供商也早已和英特爾就此展開了前瞻創新,例如百度智能云早在2019年就推出了ABC(AI、Big Data、Cloud)高性能對象存儲解決方案,能利用英特爾® 傲騰? 固態盤的高性能、低時延和高穩定來滿足AI訓練對數據的高并發迭代吞吐需求。
值得一提的是,英特爾在今年發布全新第三代英特爾® 至強® 可擴展處理器時,也帶來了與其搭檔的英特爾® 傲騰? 持久內存200系列和英特爾® 傲騰? 固態盤P5800X。
與全新第三代英特爾® 至強® 可擴展處理器搭配使用的英特爾® 傲騰? 持久內存和英特爾® 傲騰? 固態盤新品