8月23日，在倫敦舉行的人工智能領(lǐng)域頂級會(huì )議KDD2018大會(huì )上，浪潮發(fā)布支持TensorFlow的FPGA計算加速引擎TF2，該產(chǎn)品可幫助AI客戶(hù)快速實(shí)現基于主流AI訓練軟件和深度神經(jīng)網(wǎng)絡(luò )模型DNN的FPGA線(xiàn)上推理，并通過(guò)全球首創(chuàng )的FPGA上DNN的移位運算技術(shù)獲得AI應用的高性能和低延遲。

目前，采用FPGA技術(shù)實(shí)現AI應用的線(xiàn)上推理從而獲得可定制性、低延遲和高性能功耗比成為諸多AI公司采納的技術(shù)路線(xiàn)。但FPGA技術(shù)進(jìn)入到大規模AI業(yè)務(wù)部署仍舊存在軟件編寫(xiě)門(mén)檻高、性能優(yōu)化受限、功耗難以控制等諸多挑戰。浪潮此次發(fā)布的TF2計算加速引擎的目標就是期望為客戶(hù)解決在A(yíng)I應用FPGA技術(shù)的這些挑戰。

KDD18 浪潮展臺現場(chǎng)

TF2計算加速引擎由兩部分組成，第一部分是模型優(yōu)化轉換工具TF2 Transform Kit，它將經(jīng)過(guò)TensorFlow等框架訓練得到的深度神經(jīng)網(wǎng)絡(luò )模型數據進(jìn)行優(yōu)化轉換處理，大幅降低模型數據文件大小，如它可將32位浮點(diǎn)模型數據壓縮為4位整型數據模型，使得實(shí)際模型數據文件大小精簡(jiǎn)到原來(lái)的1/8，并基本保持原始模型數據的規則存儲；第二部分是FPGA智能運行引擎TF2 Runtime Engine，它可實(shí)現將前述已優(yōu)化轉換的模型文件自動(dòng)轉化為FPGA目標運行文件，為了消除深度神經(jīng)網(wǎng)絡(luò )如CNN等對FPGA的DSP浮點(diǎn)計算能力的依賴(lài)，浪潮創(chuàng )新設計了移位運算技術(shù)，它可將32位浮點(diǎn)特征圖數據量化為8位整型數據，并結合前述4位整型模型數據，轉換卷積操作浮點(diǎn)乘法計算為8位整數移位運算，這將大幅提升FPGA做推理計算的性能并有效降低其實(shí)際運行功耗。這也是目前全球首次在基本保持原始模型計算精度的前提下在FPGA上實(shí)現深度神經(jīng)網(wǎng)絡(luò )DNN的移位運算。

TF2計算加速流程

在浪潮F10A FPGA卡上采用SqueezeNet模型對TF2計算加速引擎進(jìn)行的測試表現出了非常好的計算性能。F10A是全球首款支持Arria 10芯片的半高半長(cháng)的 FPGA加速卡。SqueezeNet是一種典型的卷積神經(jīng)網(wǎng)絡(luò )架構，模型精簡(jiǎn)但其精度和AlexNet不相上下，特別適合于實(shí)時(shí)性要求較高的圖像類(lèi)AI應用場(chǎng)景。在F10A上運行經(jīng)過(guò)TF2引擎優(yōu)化加速的SqueezeNet模型，在基本保持原始精度的情況下，單張圖片的計算耗時(shí)為0.674ms，在計算精度和延遲方面均略?xún)?yōu)于目前廣泛使用的GPU加速卡P4。

TF2 w/ F10A與GPU性能對比

浪潮TF2計算加速引擎通過(guò)移位運算、模型優(yōu)化等技術(shù)創(chuàng )新，提高了FPGA上AI計算性能，降低了FPGA的AI軟件實(shí)現門(mén)檻，將支持FPGA廣泛應用于A(yíng)I生態(tài)推動(dòng)更多AI應用落地。浪潮計劃將TF2開(kāi)放給其人工智能客戶(hù)，并將持續升級開(kāi)發(fā)支持多種模型優(yōu)化技術(shù)、最新深度神經(jīng)網(wǎng)絡(luò )模型以及采用最新芯片的FPGA加速卡，預計新一代高性能FPGA加速卡的性能將是F10A的三倍左右。

浪潮是全球領(lǐng)先的AI計算力廠(chǎng)商，從計算平臺、管理套件、框架優(yōu)化、應用加速等四個(gè)層次致力于打造敏捷、高效、優(yōu)化的AI基礎設施。浪潮已成為百度、阿里和騰訊的最主要的AI服務(wù)器供應商，并與科大訊飛、商湯、曠視、今日頭條、滴滴等人工智能領(lǐng)先科技公司保持在系統與應用方面的深入緊密合作，幫助AI客戶(hù)在語(yǔ)音、圖像、視頻、搜索、網(wǎng)絡(luò )等方面取得數量級的應用性能提升。據IDC《2017年中國AI基礎架構市場(chǎng)調查報告》顯示，浪潮AI服務(wù)器市場(chǎng)份額達57%高居第一。

（文章來(lái)源：今日頭條）