高效率共享资源GPU!浪潮AIStation提升公司AI测算資

2021-02-20 02:25| 发布者: | 查看: |

高效率共享资源GPU!浪潮AIStation提升公司AI测算資源极限 针对AI公司来讲,GPU等测算資源价格昂贵,怎样提升資源运用率,维护测算力项目投资?怎样处理資源占领,确保資源应用公平公正有效?

针对AI公司来讲,GPU等测算資源价格昂贵,怎样提升資源运用率,维护测算力项目投资?怎样处理資源占领,确保資源应用公平公正有效?怎样降低等候時间,提升实体模型训炼高效率 这些难题都关联着产品研发自主创新的进度。且看浪潮AIStation人力智能化开发设计服务平台用3招 组成拳 摆脱测算力壁垒,加快公司AI开发设计过程。

某公司AI开发设计遭遇的难题

某公司有4台8卡GPU服务器供50位开发设计人员应用,典型的人多資源少。实际来讲,有下列几大难题:

人均不够1张GPU卡,GPU应用必须互相融洽,开发设计高效率低;

每10多人为因素1个小组同用1个GPU连接点,将会使有的小组資源空余而有的小组却无資源能用,导致資源孤岛;

欠缺优先选择体制,关键每日任务没法获得立即递交;

在大白天GPU卡基本上所有用于开发设计自然环境建立,开发设计人员只能在夜里递交训炼每日任务,实体模型训炼数量十分比较有限。

AIStation3招处理公司算力难题

AIStation是朝向AI公司开发设计情景的人力智能化資源服务平台,可根据資源配额、GPU共享资源、排长队代管3招 组成拳 ,智能化化分派GPU测算資源,提升資源运用率,协助客户提升开发设计高效率。

最先,AIStation收缩分散化的测算資源,出示群集式的池化管理方法,并设定資源配额对策,完成多客户公平公正平衡应用資源。

AIStation将开发设计客户区划为5个客户组,每一个客户组10人,并依据业务流程要求设定每组和每一个客户的应用配额,如可设定每组应用6张GPU卡、40个CPU核。并对每一个客户的开发设计自然环境应用时长、另外递交每日任务数量开展限定。

其次,AIStation根据GPU共享资源对策,可让多人同用1张GPU卡且互不危害。

AIStation统1管理方法4台GPU连接点,将在其中2个连接点的16张GPU卡设定为开发设计資源组,用于开发设计自然环境建立,剩余16张GPU卡为训炼資源组,用于实体模型训炼。根据共享资源对策,AIStation可将开发设计資源组的每张GPU卡分割为8份,每份应用4G显存。这样原先的16张GPU卡非常于变成了128张卡。而且根据设定CPU超进程对策拓展CPU核数,考虑50个客户另外建立开发设计自然环境的要求。客户还可以依据自身的实体模型设定batchsize和显存应用的尺寸。

GPU共享资源方式

最终,AIStation根据每日任务排长队代管、界定每日任务优先选择级,充足运用空余時间训炼每日任务,而且可依据优先选择级生产调度每日任务排长队运作。

客户可另外递交好几个训炼每日任务,資源不够时排长队等候,1个每日任务训炼完毕后全自动释放出来資源给排长队等候的每日任务,从而能够充足运用晚间、周末训炼每日任务,增加GPU的应用時间。另外客户可设定优先选择级,让关键每日任务优先选择训炼。

开发设计客户每日任务代管

AIStation获得明显实际效果

GPU应用時间加大近1倍。原先单独GPU连接点分派给1个客户小组应用,每卡每日的均值应用時间仅为14.4小时。AIStation根据GPU共享资源、每日任务代管,处理資源孤岛,将每卡每日的均值应用時间提高到22.8小时。

1天周期限内群集GPU应用状况

GPU运用率提高50%。原先客户在开发设计环节占有1张GPU,GPU运用率仅为10%,训炼环节可达90%,每日每卡的均值运用率为30%。应用AIStation后,开发设计环节8人同用1张GPU卡,GPU运用率可升高为80%,训炼环节为90%,每日每卡的运用率可做到80%。

GPU应用状况比照

每周训炼每日任务的数量增大1倍多。假定递交1个ImageNet数据信息集和1个ResNet50实体模型,应用1张Tesla V100 GPU卡训炼每日任务,每一个每日任务的训炼時间大约为12小时。

原先由于人均不足1张卡, 大白天GPU卡用于建立开发设计自然环境,夜里才可以训炼每日任务,那末1个工作中日能够进行的每日任务最多为32个,即1周能够进行160个每日任务。

而AIStation适用每日任务排长队,能够最大程度的应用GPU資源。1周能够进行368个每日任务数,高效率提高2.3倍。假定开发设计精英团队单独新项目均值必须训炼的每日任务数为50,那末每月的新项目进行数从3个提高到7个。

能够看出,浪潮AIStation根据对测算資源的高效率管理方法、生产调度,在GPU应用時间、运用率和训炼每日任务数量上,相比原计划方案均完成了大幅提高,最大化地提升了資源应用。

浪潮AIStation人力智能化資源服务平台朝向AI公司开发设计情景,致力于协助公司搭建1体化的AI开发设计服务平台,为AI开发设计工程项目师出示高效率的测算力支撑点、精确的資源管理方法和生产调度、灵巧的数据信息整合及加快、步骤化的AI开发设计业务流程整合,助推AI公司提升开发设计高效率和商品发售速率,提高公司市场竞争力。

除高效率的資源管理方法,AIStation在开发设计自然环境建立、数据信息管理方法、开发设计步骤管理方法等层面也主要表现优异。在后续文章内容中,大家将融合具体运用情景为大伙儿详尽详细介绍,敬请关心。

 

<
>

 
QQ在线咨询
售前咨询热线
18720358503
售后服务热线
18720358503
返回顶部