某企業(yè)AI開發(fā)面臨的問題

　　某企業(yè)有四臺(tái)8卡GPU服務(wù)器供50位開發(fā)人員使用，典型的人多資源少。具體來說，有以下幾大問題：

　　人均不足一張GPU卡，GPU使用需要相互協(xié)調(diào)，開發(fā)效率低；

　　每十多人為一個(gè)小組共用一個(gè)GPU節(jié)點(diǎn)，可能使有的小組資源空閑而有的小組卻無資源可用，造成資源孤島；

　　缺乏優(yōu)先機(jī)制，重要任務(wù)無法得到及時(shí)提交；

　　在白天GPU卡幾乎全部用于開發(fā)環(huán)境創(chuàng)建，開發(fā)人員只能在晚上提交訓(xùn)練任務(wù)，模型訓(xùn)練數(shù)量非常有限。

　　AIStation三招解決企業(yè)算力問題

　　AIStation是面向AI企業(yè)開發(fā)場(chǎng)景的人工智能資源平臺(tái)，可通過資源配額、GPU共享、排隊(duì)托管三招“組合拳”，智能化分配GPU計(jì)算資源，提高資源利用率，幫助用戶提高開發(fā)效率。

　　首先，AIStation收攏分散的計(jì)算資源，提供集群式的池化管理，并設(shè)置資源配額策略，實(shí)現(xiàn)多用戶公平均衡使用資源。

　　AIStation將開發(fā)用戶劃分為5個(gè)用戶組，每個(gè)用戶組10人，并根據(jù)業(yè)務(wù)需求設(shè)置每組和每個(gè)用戶的使用配額，如可設(shè)置每組使用6張GPU卡、40個(gè)CPU核。并對(duì)每個(gè)用戶的開發(fā)環(huán)境使用時(shí)長、同時(shí)提交任務(wù)數(shù)量進(jìn)行限制。

　　其次，AIStation通過GPU共享策略，可以讓多人共用一張GPU卡且互不影響。

　　AIStation統(tǒng)一管理4臺(tái)GPU節(jié)點(diǎn)，將其中2個(gè)節(jié)點(diǎn)的16張GPU卡設(shè)置為開發(fā)資源組，用于開發(fā)環(huán)境創(chuàng)建，剩下16張GPU卡為訓(xùn)練資源組，用于模型訓(xùn)練。通過共享策略，AIStation可將開發(fā)資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來的16張GPU卡相當(dāng)于變?yōu)榱?28張卡。并且通過設(shè)置CPU超線程策略擴(kuò)展CPU核數(shù)，滿足50個(gè)用戶同時(shí)創(chuàng)建開發(fā)環(huán)境的需求。用戶也可以根據(jù)自己的模型設(shè)置batchsize和顯存使用的大小。

　　GPU共享模式

　   AIStation通過任務(wù)排隊(duì)托管、定義任務(wù)優(yōu)先級(jí)，充分利用空閑時(shí)間訓(xùn)練任務(wù)，并且可根據(jù)優(yōu)先級(jí)調(diào)度任務(wù)排隊(duì)運(yùn)行。

　　用戶可同時(shí)提交多個(gè)訓(xùn)練任務(wù)，資源不足時(shí)排隊(duì)等待，一個(gè)任務(wù)訓(xùn)練結(jié)束后自動(dòng)釋放資源給排隊(duì)等待的任務(wù)，從而可以充分利用夜間、周.末訓(xùn)練任務(wù)，延長GPU的使用時(shí)間。同時(shí)用戶可設(shè)置優(yōu)先級(jí)，讓重要任務(wù)優(yōu)先訓(xùn)練。

　　開發(fā)用戶任務(wù)托管

　　AIStation取得顯著效果

　　GPU使用時(shí)間加大近1倍。原來單個(gè)GPU節(jié)點(diǎn)分配給一個(gè)用戶小組使用，每卡每天的平均使用時(shí)間僅為14.4小時(shí)。AIStation通過GPU共享、任務(wù)托管，解決資源孤島，將每卡每天的平均使用時(shí)間提升到22.8小時(shí)。

　　一天周期內(nèi)集群GPU使用情況

　　GPU利用率提升50%。原來用戶在開發(fā)階段獨(dú)占一張GPU，GPU利用率僅為10%，訓(xùn)練階段可達(dá)90%，每天每卡的平均利用率為30%。使用AIStation后，開發(fā)階段8人共用一張GPU卡，GPU利用率可上升為80%，訓(xùn)練階段為90%，每天每卡的利用率可達(dá)到80%。

　　GPU使用情況對(duì)比

　　每周訓(xùn)練任務(wù)的數(shù)量增大一倍多。假設(shè)提交一個(gè)ImageNet數(shù)據(jù)集和一個(gè)ResNet50模型，使用1張Tesla V100 GPU卡訓(xùn)練任務(wù)，每個(gè)任務(wù)的訓(xùn)練時(shí)間大概為12小時(shí)。

　　原來因?yàn)槿司粔蛞粡埧ǎ?白天GPU卡用于創(chuàng)建開發(fā)環(huán)境，晚上才能訓(xùn)練任務(wù)，那么一個(gè)工作日可以完成的任務(wù)數(shù)多為32個(gè)，即一周可以完成160個(gè)任務(wù)。

　　而AIStation支持任務(wù)排隊(duì)，可以至大限度的使用GPU資源。一周可以完成368個(gè)任務(wù)數(shù)，效率提升2.3倍。假設(shè)開發(fā)團(tuán)隊(duì)單個(gè)項(xiàng)目平均需要訓(xùn)練的任務(wù)數(shù)為50，那么每個(gè)月的項(xiàng)目完成數(shù)從3個(gè)提升到7個(gè)。

　　可以看出，浪潮AIStation通過對(duì)計(jì)算資源的高效管理、調(diào)度，在GPU使用時(shí)間、利用率和訓(xùn)練任務(wù)數(shù)量上，相比原方案均實(shí)現(xiàn)了大幅提升，化地優(yōu)化了資源使用。

　　浪潮AIStation人工智能資源平臺(tái)面向AI企業(yè)開發(fā)場(chǎng)景，致力于幫助企業(yè)構(gòu)建一體化的AI開發(fā)平臺(tái)，為AI開發(fā)工程師提供高效的計(jì)算力支撐、精準(zhǔn)的資源管理和調(diào)度、敏捷的數(shù)據(jù)整合及加速、流程化的AI開發(fā)業(yè)務(wù)整合，助力AI企業(yè)提高開發(fā)效率和產(chǎn)品上市速度，增強(qiáng)企業(yè)競爭力。

　　除了高效的資源管理，AIStation在開發(fā)環(huán)境創(chuàng)建、數(shù)據(jù)管理、開發(fā)流程管理等方面也表現(xiàn)出色。