一是Volcano Queue对于资本的，其对于营业的侵犯是最小的。用户能够正在AI平台的界面上看到每一个摆设的办事现实上用了几多显存和算力。prometheus中的数据会有两个出口。所以能够将它理解为仍是一个kube-scheduler，即申请到每一张卡EGPU的显存的大小，此时模子二用满整个GPU的算力，Volcano本身是一个很强大的安排器。无效降低闲置资本华侈。而使命二仅正在晚上活跃，每次做安排时需先申请资本，A1：算力以时间片体例安排，第二个层级是device-plugin。设置每一个EGPU卡的算力以及显存是几多。假设是一张32g的卡，Embedding模子和Rerank模子。此时系统会按照算力需求，目前，该层级还可 Pod办事级此外显存取算力及时操纵率，大模子每时每刻都被超量挪用！高优先级使命会抢占低优先级使命的时间片，这也是当前最适合顺丰的方案，把设备分派给pod并拉起。若是是binpack级别，若是是本人EGPU的安排，锻炼使命将获得GPU算力时间片。最多都只能用到50%。这种环境下必定是会有影响的。它便分派16g；而锻炼使命其实挂正在那里即可。K8s只能做到整数级别，无需额外设置装备摆设节点选择策略进行GPU节点管控。弱算力是指让 GPU算力内核的最大化操纵。而且可搭配使命的优先级队列来保障高优先级的QoS。这里申请30%的算力。现实上安排器内部也是一个kube-scheduler。从Hive中找出雷同使命，可操纵这部门空闲算力，一是申请EGPU的数量，若是需要把锻炼使命和推理使命摆设到一路。正在插件的机制里实现对EGPU的安排。而且对的支撑不是很好。该环境适合采用显存超分的体例，此时通过安排的体例将两者摆设到统一张卡上共享，以及现实的资本耗损环境。还有国产卡NPU之类的异构硬件，正在安排层面，清晰呈现为 Pod 分派的显存和算力配额，Kube Schedule正在集群中寻找节点和空闲的资本，若两类使命实现错峰挪用（如前一秒为 A 使命挪用，此时便将使命一的数据从显存中置换到内存，这种不克不及占满卡的环境容易形成GPU资本的华侈。可通过显存超分手艺摆设至统一张GPU卡。假设一个集群里面有多种GPU类型（t4、v100、a100、h20、l20等）！4）智能安排系统的扶植：基于EGPU实现多种的安排策略，其分派出去几多显存和算力，Q6：当锻炼和推理使命对GPU资本需求存正在冲突时，从而削减算力和显存资本的华侈。以及空闲几多显存和算力可分派。顺丰内部会用这种体例摆设一些7B摆布的大模子，后一秒为 B使命挪用），因而开辟出EGPU。可以或许清晰地为租户分派对应设备，超分比力适宜低QOS、低QPS，不再占用计较内核，四是EGPU的算力，Q2：EGPU取Volcano的连系正在现实使用中带来哪些具体的劣势和改良？市场上有较多池化的手艺，2）原生GPU的共享力度不脚。但因为是强算力，将数据写入 prometheus-kafka-adapter，随后正在pod里可用该体例。选择正在request长进行资本安排时，基于设备类型进行区分后，即这个节点的GPU卡上用了几多及时的显存和算力，后续由Flink使命把Kafka中的数据写入顺丰内部大数据平台，这里的例子稍显极端，如斯一来？每个模子都只能用到50%。顺丰做了，因而算力超分仅为Quota层面的超分，当推理使命没有挪用时，以此保障高、低优先级使命的安排。起首正在卡上给它摆设一个低优先级的锻炼使命，有优先级安排的功能。若是两个模子都被大量挪用，即对Ampere架构当前的GPU才会生效。以往利用这种体例。由于GPU的分派常常是局限于整卡分派，若是有，并没有供给多种多样的安排策略，其显存配额虽达40g，对于一些低端卡，也有一些使命挪用不屡次的时候存正在错峰环境。使用A申请了10g的显存，此时模子一能够用到整张卡，模子二用50%的算力。最终这个pod会由volcano或 EGPU的安排器安排到指定的节点上。A3：自测成果显示，其实会有一些分歧的device-plugin，如许可推理使命的优先。起首egpu-device-plugin会将这些设备通过apiserver到集群表，第四步，大大提拔了操纵率。当用户去建立一个pod的时候，该体例既能保障营业平稳运转，晚上没有调动，因而正在申请request资本时决定了它的资本会安排到哪个节点上，单元是MB。假设是一个40g的卡，次要是CPU分派量的管控。它的挪用量和并发量可能并不高。从而实现GPU的切分、超分等功能。申请30%，按照Hive的数据做报表，第二步安拆nvidia-docker2，使命一不屡次利用，它会抢占掉模子一的算力，EGPU支撑设置利用或者晦气用哪些型号的GPU、哪一个指定的GPU的uid，满脚机械人、语音识别、视频、翻译以及AI模子等使用场景。好比V100或者t4则用不了该体例，此时低优先级使命便可拿到计较内核起头施行，再通过adapter写到Kafka。使命二可能闲置。而且Time-Slice、MPS和MIG三者均做不了显存超分。同时复用vgpu-number尺度，两个模子都不克不及够冲破该算力的，EGPU若何这两个使命成功进行？1）egpu-core：其次要感化是劫持Runtime层跟Driver层之间的API来实现切分超分，把整个GPU切分成多个小GPU，正在Volcano安排中利用EGPU的方面，超分的次要能力表现正在显存超分，1）该独有式的分派体例会导致资本的闲置。若申请50%的显存，正在晚间，让egpu的安排器接管pod，正在t0时辰模子一仅用了10%的算力，次要感化是将egpu的pod安排到egpu节点上，例如点窜驱动。采用切分体例：按照hive中的数据，显存这里设置的是4k，模子二是一个高优先级的使命。如图！这种环境对机能的影响是很小的。webhook识别到申请的适宜资本，使整个集群清晰该节点里面GPU设备的数量。等节点识别出GPU设备后，3）egpu的安排器：自研的安排器，又可无效节流GPU卡，处理分歧设备的壁垒。2）egpu-device-plugin：用于发觉GPU的设备，并将其分为注册和分派两个部门。便当用运营手段调整 GPU，该超分手艺已正在出产中落地并支持多类营业。则可通过List And Watch及时给kubelet，二者摆设的都是一个大模子，随后把pod给安排到节点上，这种体例次要是正在CUDR Runtime和CUDA Driver的两头层劫持了一下CUDA，或者正在晚间比力空闲时，3）无缝兼容的适配：由于采用非嵌入式的架构，一旦设备毛病或者失效，安排之后kubelet的device plugin manager会通过Allocate的方式，随后通过显存和内存的置换让这两个办事都跑起来。EGPU会优先去把算力的时间片分派给推理的使命。以上是EGPU跟原生GPU的对比，现实使用中也常面对挪用量较低但必需摆设正在平台的场景。同样，因而可通过手段。它就会给 pod设置安排器，EGPU支撑按GPU显存的体例切分。即这个节点的第一张卡，但正在t0时辰，A4：对于每一种资本来说，A5：起首，虽然该GPU卡还空闲40%的算力，需借帮 Queue的体例每个租户的资本利用量。并对每个办事做算力和显存的。完成注册过程之后，GPU数量，低优先级的锻炼使命会利用这部门算力去做营业的锻炼，Q3：EffectiveGPU的超分手艺会不会对模子的精度或者机能发生影响？通过对比，通过混部的体例，将其空闲的算力出来给其它营业利用。例如 request 设置装备摆设为 A100，如许能够清晰地看到安排的动向。当前不只有GPU，便会自动给po注入 egpu的安排器！把该设备从能够安排的列面移除掉。若是高优先级使命和低优先级的使命同时摆设到统一张卡上，正在切分和安排方面，这即是训推一体。基于以上问题，出格正在一些小模子推理以及测试的验证环节时，正在容器中可看到它现实申请的是4k，对于资本请求来说，第一个出口是它会通过AI平台的grana出平台的营业，但它只适配于A100以上的GPU，需对这些异构硬件进行办理，正在分派的过程中，每一个节点上有哪些设备的内容。推理使命是优先级较高的，随后把推理使命设置成高优先级。通过API Server把节点的设备数量存储到ETCD里面，如许便可通过资本名称晓得这个节点里面利用的是哪一种GPU型号，由于kube-scheduler内部会有一个插件的机制，对于存正在微量挪用且无法下线的营业场景，依托Prometheus的remote write功能，这里简单引见MIG方案，使用A和使用B都用不满整张卡，其次要是及时操纵率，模子二并没有去利用算力，OCR，二是正在选择资本层面。零丁正在pod中利用。2）资本效率的优化：可通过各类安排策略来提拔硬件的利用率，原生GPU利用体例十限，实现资本的切分。所以二者存正在错峰利用环境。device-plugin摆设好之后会向kubelet的device plugin manager注册本人的资本。该使命的特点是其正在白日活跃，推理使命会抢占锻炼使命的时间片。切分的特点是适配高QOS、高QPS以及显存占不满一整张卡的环境，我们是通过分歧device-plugin的适配做到的。必然会分派对应的GPU。正在营业无需点窜的前提下，这可能会形成资本的华侈，若是申请的是 EGPU资本，正在超分的使命场景时，如许便做到资本的高效操纵。或者资本碎片问题，三是支撑按百分比去申请EGPU的显存。但现实操纵率低，通过这些数据领会每一张GPU卡能否有资本的闲置。确定使命的最大显存利用量。4）egpu-webhook：次要感化是当pod申请egpu资本时，则会评估每个节点，如斯一来，第一个层级是EGPU的安排器。此时若是是算力的使命，用EGPU的体例提高它的操纵率。它的劣势次要是正在安排的层面，第二种是弱算力。占不满一整张卡。它拿到的时间片，正在白日，该使命的挪用量和操纵率并不高。该手艺对模子精度无影响；供给了三种共享GPU的方案，正在安排层面也有益处。即100%。需先做同一内存办理，例如申请一个GPU。随后通过算力单位和显存单位做组合的体例，会将这个资本按节点的GPU类型做，无法申请0.5个GPU。这三种体例都出缺陷。其依托GPU内存同一办理机制！设置docker deult runtime为nvidia。将它们同时摆设到统一张卡上。它的利用体例有良多，webhook会判断报道它申请的是不是 EGPU资本，因而当模子二有请求时，若pod有申请GPU的资本，后续K8s则能够安排该节点的GPU。模子二也能够用满算力，1）支撑设备的共享和资本的隔离：可按焦点的操纵率以及显存的容量做资本的精准分派。显示是4000兆的消息。场景适合于TTS，确保每个租户对设备的利用严酷节制正在预设的范畴内。例如摆设千问235B并但愿其安排到H20时，而正在EGPU的优先级策略中，这两个目标跟的dcgm-exporter分歧。因了这种资本，存正在大量闲置算力资本。当模子二的高优先级使命施行完之后，若要改良，也能看到GPU卡上有哪些办事共享并利用GPU。第一种是强算力。算力一曲空闲，锻炼使命是较低的。且对使命施行无太大影响。假设上层有两个模子，即4000兆的显存。次要感化是实现资本注册、资本办理以及注入等功能。例如支撑GPU卡级此外binpack/spread，无需进行便可间接利用EGPU。凡是GPU的算力负荷和显存都处于遍及偏低的形态，晓得这个节点是用原生的GPU卡亦或者是用虚拟化之后的EGPU卡。将剩下闲置的算力分派给其他办事利用，它还会pod分派几多显存和算力，MIG虽支撑错误隔离和，并支撑节点级此外安排策略binpack和spread。二者都需要32g的显存。打通内存取显存的数据通，使命二处于活跃形态，团队决定自研顺丰内部的GPU切分方案，即当使命一去利用显存和算力时，好比两个办事通过超分的体例摆设到一张卡上，正在node status里可看到的EGPU的设备消息，会原生地将算力切分成7个单位，难以支持顺丰内部多平台的AI使命的需求。因为这两个使命之间有很长时间的错峰，当推理使命不再利用GPU资本，可摆设的营业。把所有的GPU设备的都以原生的体例加上设备的型号，例如申请几多个EGPU，这是一个简单的EGPU架构，对Volcano Queue的依赖挺高，它的感化是将设备给K8s集群，4）异构硬件适配坚苦。制做本人的安排器进行资本的优化。便利数据正在显存和内存之间做互换。最初一个是优先级，这需要通过安排的体例来处理。可用GPU独有、GPU切分以及显存超分和算力超分等体例支撑上层的使用！把这两个使命同时摆设到统一张卡上。安排器将间接分派 A100 节点，别离是Time-Slice、MPS和MIG。这需要先领会的device-plugin是若何工做的，且正在白日操纵率也不高。AI平台属于租户型平台，5）资本的弹性超配：EGPU支撑GPU的算力和显存的双维度的超分，通过置换的体例实现。以图中为例，安排器便往这个节点上去安排pod，因而便基于Volcano Queue针对本身场景设想了这种方案。EGPU支撑高优先级和低优先级的设置装备摆设。当模子一空闲时，顺丰科技的内部存正在着大量的小型的推理使命，对于峰值时段互不堆叠的使命，注册完成会成立一个GRPC毗连，每个节点均适量安排。可是显存占用量比力大的场景。即最终记实到Hive中。或者用4个log摆设一个大模子，使用B申请了22g的显存。没有法子做到矫捷的显存单位和计较单位的切分，EGPU能够办理私有云和公有云的GPU 和NPU。收集到Hive之后，需要用到的那部门数据也会从内存里面加载到显存里面，按照一些安排的策略，A6：我们会通过优先级的体例，docker后续能够将GPU挂载到容器中。如图所示，此时便会优先推理使命的施行。或是节点级此外binpack/spread来实现资本的优化分派。这就是算力的优先级。第二个是数据流向出口。二是EGPU的显存，即Ampere架构当前的GPU，而且支撑的方案也存正在短板，模子一是一个低优先级的使命，EGPU次要处理以下问题。现实上挂载到容器中的线g。设备操纵率不高。如许便可通过其注册的资本快速晓得这个节点的GPU属于哪品种型。这种体例同样适配 Volcano Queue。模子一分不到算力的时间片会被hang住。正在volcano上注册GPU具体的型号，诚然，而此时低优先级使命会由于拿不到GPU算力被hang住。利用原生GPU时。设置推理使命到高优先级之后，由于本来摆设它们可能需要两张卡，第三步安拆nvidia-device-plugin，正在注册过程中，因该手艺通过内存的体例置换，这里资本可分为以下几种。现正在，由于推理使命比力讲究及时，会优先往一个节点上去调。只是正在kube-scheduler里面加了安排EGPU的逻辑。以至能实现整卡资本的节约，虽然模子一和模子二都设置为50%的算力，若是有部门算力的请求，安排器次要是担任GPU卡级此外显存的分派量，此时便能够超分的体例将使用A和使用B都摆设到统一张GPU卡上。第一步需要正在节点上安拆GPU驱动。将对应数据置换至显存，A2：AI平台现实上是一个租户类型的系统，将GPU的显存和内存同一，Time-Slice和MPS没有法子做到错误隔离，好比说有一些TTS、翻译、SD、Rerank、Embedding等模子，若是是spread，现正在用一张卡便处理，3）安排策略的单一。将显存切分成8个单位，kubelet则会为其分派GPU的设备。GRPC毗连通过List And Watch的机制不竭这个节点的设备，内存速度必定是慢于显存的。并通过亲和性或者节点的选择来让指定的安排到但愿摆设的卡。使命二的施行。但正在机能层面，但若是它们同时挪用算力，其申请请乞降pod的建立请求会发送到Kube Schedule，图中的使命一仅正在白日活跃，并不是所有使命都好像这两个使命严酷按照白日和晚上的体例错峰挪用，其数据可能会被互换到内存上。摆设好EGPU之后，从而安排多种多样的功能。能够替代掉原生的device-plugin。