人工智慧正在引領新一輪變革，最近幾年人工智慧從科技行業開始，快速滲透到各行各業，我們的生活中已經充滿了AI的氣息。當前，全行業對人工智慧技術的採用普遍使用雲的方式落地，人工智慧雲服務AIaaS（AI as a Service）成為雲服務商新的增長點。人工智慧的深度學習演算法已經比較成熟，如何提升效率成為關鍵。作為業界知名的雲服務提供商，CDS首雲軟硬結合的AI雲服務技術探索給出了方向。

一、AI雲化是明確趨勢，

軟硬結合是關鍵

人工智慧正在從技術探索轉為大規模應用，人工智慧已經成為基礎設施，這就決定了AI雲化是明確趨勢。

首先是用戶需求，對於企業來講，必須不斷增加競爭力深化數字化轉型，人工智慧成為必然的選擇，從而帶來大量需求。隨著對雲的深度使用，企業希望人工智慧能夠像雲一樣易用，好用，並且按量計費。

第二是雲廠商的增長點，對於雲廠商來講，增強人工智慧能力，為企業賦能，是新的增長點，這也是為什麼許多雲廠商給名字加上「智能」的原因。

第三是人工智慧涉及硬體、軟體，技術複雜，需要持續優化，只有雲廠商有這方面的資源和技術實力。

如同IaaS的底層是虛擬化技術一樣，AI雲服務依賴深度神經網路的演算法和軟硬結合的算力。演算法的實現依賴於軟體，人工智慧開源軟體是趨勢，而算力取決於軟硬結合的能力。

二、開源、軟硬結合是AI技術趨勢，

OpenVINO™二者兼具

人工智慧技術方面，一方面開源是主流，比如知名的TensorFlow、Caffe、MXNet、Kaldi等深度學習框架。另外一方面，算力非常重要，算力決定了人工智慧應用的速度。所以人工智慧的效果取決軟硬結合。但是由於開源框架很多，對於用戶來說，如果使用不同的深度學習框架，不同的硬體，需要一一進行優化，工作量繁重。

OpenVINO™工具套件的出現，解決了這一問題，OpenVINO™工具套件開源，支持主流深度學習框架，支持英特爾架構內不同硬體，提供統一介面，兼具了開源、軟硬結合的趨勢。

OpenVINO™工具套件介紹

OpenVINO™工具套件是英特爾基於自身現有的硬體平台開發的可以加快高性能計算和深度學習應用開發速度工具套件，是用於快速開發應用程序和解決方案，以解決各種任務（包括人類視覺模擬、自動語音識別、自然語言處理和推薦系統等）的綜合工具套件。

該工具套件基於最新一代的人工神經網路，包括卷積神經網路(CNN)、遞歸網路和基於注意力的網路，可擴展跨英特爾硬體的計算機視覺和非視覺工作負載，從而最大限度地提高性能。它通過從邊緣到雲部署的高性能、人工智慧和深度學習推理來為應用程序加速。

OpenVINO™工具套件優勢

OpenVINO™ 工具套件的有四大優勢：支持基於卷積神經網路的深度學習推理；支持跨英特爾CPU、英特爾顯卡、英特爾神經電腦棒和英特爾Movidius™視覺處理器運行；通過一套易用的計算機視覺功能庫和預優化內核庫來加速上市時間；針對計算機視覺標準進行優化的調用，包括OpenCV*和OpenCL™。

下圖表顯示了典型的 OpenVINO™ 工作流程（單擊可放大）

圖 OpenVINO™ 工作流程

英特爾OpenVINO™工具套件發行版包含以下主要組件：深度學習模型優化器：跨平台的命令行工具，用於導入模型並為推理引擎的優化執行準備模型。模型優化器會導入、轉換、優化模型，這些模型在流行的框架中訓練，比如Caffe、TensorFlow、MXNet、Kaldi和ONNX；深度學習推理引擎：統一的API，可在多種硬體類型上進行高性能推理；推理引擎樣本：一套簡單的控制台應用程序，展示了如何在應用程序中使用推理引擎；附加工具：一套模型協作的工具，包括準確度檢查器實用程序、訓練後優化工具指南、模型下載器等。

OpenVINO™工具套件開源，深受人工智慧開發者喜愛，在Github上目前獲得了1.9k的Star，787個Fork。

圖 OpenVINO™ Github界面

下面讓我們來看看知名雲服務商CDS首雲，如何利用OpenVINO™提升AI雲服務能力的案例。

三、CDS首雲案例

技術解析

作為AI能力輸出的關鍵環節，AI模型的部署和推理效率會對整體性能表現產生直接影響，CDS首雲與英特爾一起，在其高性能K8S容器平台上導入了OpenVINO™ Model Server，為 AI模型的快速部署及推理效率的提升助力。

目前這一全新方案已在CDS首雲內部的AI應用場景中進行了初步部署和驗證，實踐結果表明基於OpenVINO™ Model Server的新方案不僅在用戶並發接入能力上遠優於傳統AI模型部署工具，同時在檢測時延等關鍵性能指標上也有更為出色的表現。

首雲AI雲服務方案架構

AI雲服務不能僅僅限於提供面向AI應用加速的硬體基礎設施，一定要在其上部署能夠高效分配、調度底層基礎設施資源的雲平台，以及能在這一雲平台上為AI應用和模型提供完備運行環境的中間件或框架，雲平台和AI運行環境的搭配越合理、協作越高效，AI雲服務的整體表現就越出色。CDS首雲打造AI雲服務方案的過程，就秉承了這一原則，其架構如圖所示：

圖 CDS首雲AI雲服務方案架構在基礎設施架構層，由英特爾提供的一系列先進計算、存儲與網路產品，輸出了強大的數據處理、存儲與傳輸能力；K8S虛擬化層，則負責為底層架構提供節點管理和擴展服務，在將基礎設施層的能力物盡其用的同時，也讓方案擁有良好的可擴展性；方案提供的AI服務將通過容器，為上層的多樣化應用場景輸出AI能力。

基於這一架構，CDS首雲的AI雲服務能力既能通過解決方案的形式，為選擇雲平台或裸金屬平台的用戶提供附加本地服務能力，也能以服務API的形式，為用戶提供遠程AI能力輸出。

OpenVINO™ Model Server是方案核心

OpenVINO™ Model Server是OpenVINO™工具套件的重要組件，OpenVINO™工具套件的作用是幫助用戶實現模型優化和加速，以達到降本增效的目的，OpenVINO™ Model Server則是基於和利用英特爾®️架構基礎設施提供的算力，來幫助CDS首雲新方案大幅簡化模型部署流程，從而能更高效、便捷地將AI模型部署到生產環境，並有效提升推理性能。

圖OpenVINO™ Model Server 架構

如圖所示，OpenVINO™ Model Server對外提供了gRPC和REST兩種標準的網路API介面，供用戶在不同場景下調用，不論用戶是在本地，還是在遠程啟動AI工作任務，這些任務都將被接入到部署在容器內的OpenVINO™ Model Server服務。

上述架構設計及工作流程，讓OpenVINO™ Model Server具備了以下四大AI雲服務部署和應用優勢：面向英特爾架構內不同類別硬體基礎設施實施性能優化，這一優勢可以讓用戶完成模型訓練後，即可將模型部署於不同場景中實施快速推理，有效降低部署和運維成本；與K8S良好的集成，OpenVINO™ Model Server能通過鏡像方式便捷地實現模型快速部署、維護和擴展，並具有更優的橫向可擴展性，便於為用戶提供密集型計算託管服務；對常見的主流深度學習框架均有良好支持，可幫助用戶在設計、部署AI方案時擺脫框架束縛，根據需求引入最優框架，增強AI服務能力；統一網路API訪問能力，允許最終用戶基於CDS首雲的雲平台或裸金屬平台部署本地化的AI能力，也可以採用遠端網路調用該能力。對gRPC和REST等不同API介面模式的支持，也使方案的可用性大為增強。

實戰：助不良內容檢測兼顧高性能和低成本

在全新AI雲服務方案成形後，CDS首雲啟動了有針對性的實踐驗證工作，並優先選擇內部應用需求較為迫切的不良內容檢測場景作為「實驗田」。

圖 CDS首雲AI不良內容檢測流程

之前，CDS首雲主要採用TensorFlow Serving服務框架等開源工具，來將深度學習模型部署到生產環境進行推理，但這一過程中，用戶經常會面臨以下幾個方面的挑戰：首先是模型在訓練和推理的不同過程中，不論採用什麼工具，性能和精度都可能存在差異，如果不進行適當調優，就無法更為充分地發揮出工作效能；其次是針對應用場景的變化，用戶可能需要選擇不同的深度學習框架；尤為重要的是，AI模型在不同架構硬體基礎設施上構建的生產環境中，推理性能會有明顯的差異，而方案使用者如果要針對每一種硬體環境進行重複且繁瑣的配置和調試，勢必會消耗大量時間，且會對工作效率造成負面影響。

所有這些問題，在CDS首雲打造的全新AI雲服務方案中均得到了妥善的解決。得益於OpenVINO™ Model Server的部署和應用優勢，新方案不僅能讓用戶獲得高可用、易維護且一鍵部署AI應用的能力，在推理性能上也得到了明顯的提升，同時還可幫助用戶降低TCO。

圖 CDS首雲針對不良視頻內容檢測場景的驗證測試結果

測試結果如圖所示，使用OpenVINO™ Model Server的方案在所支持的用戶並發數量上遠超對比組，相比採用TensorFlow Serving的方案提升了2.4倍，同時每個並發客戶端的延時也控制在了30毫秒以內，意味著整個檢測流程能夠跟上視頻播放的速度，達到了實時檢測的效果。

未來，OpenVINO™ Model Server方案帶來的應用優勢，也會在CDS首雲全面走向公有雲市場時轉化成為競爭優勢。接下來，除要在更多應用場景中進一步優化新方案的效能外，CDS首雲還計劃與英特爾一道，探索將基於 OpenVINO™ Model Server的AI雲服務與邊緣計算融合的解決方案。這類方案可將AI雲服務的應用範圍進一步擴展到安防、自動檢測、門禁系統等應用場景中，為用戶提供更具多樣化、差異化優勢的雲服務能力。

四、總結，OpenVINO™是AI雲服務未來

演進方向

作為業界知名的雲服務提供商，CDS首雲及時捕捉到用戶對於AI雲服務的迫切需求，攜手英特爾，使用OpenVINO™ Model Server為用戶打造更加高效、便捷和完善的AI雲服務能力，增強了競爭力。

AI能力是雲服務的新領地，OpenVINO™套件是構築AI雲服務的利器。基於OpenVINO™的雲服務，可以支持英特爾架構內不同硬體，支持K8S，支持主流的開源深度學習框架，提供統一的API。相信基於OpenVINO™的AI雲服務將是未來演進方向，用戶選擇這樣的AI雲服務，是對投入很好的保障。