Abstract

Pe măsură ce inteligența artificială (AI) avansează rapid, rețelele tradiționale de centre de date se confruntă cu provocări majore atunci când transportă trafic AI. Utilizarea mare a lățimii de bandă și un număr mic de fluxuri elefant pot face ineficientă echilibrarea încărcării convenționale per-flux, ceea ce duce la congestie și pierderi de pachete care măresc semnificativ timpul de pregătire a modelului AI și de finalizare a lucrărilor. Această carte albă examinează o tehnologie de rutare inteligentă dinamică care combină-conștientizarea în timp real cu luarea-de decizie inteligentă. Utilizează măsurarea calității-calei, sincronizarea-atributelor extinse BGP, costurile multiple ponderate-dinamice (WCMP), eliminarea-anormală a căilor și

Echilibrare automată a încărcăturii (ALB) la nivel de flux-pentru a îmbunătăți programarea traficului în mediile AI. Designul utilizează, de asemenea, virtualizarea pentru a oferi izolarea multi-chiriași și oferă scenarii de aplicație și îndrumări de planificare pentru rețele de centre de date AI eficiente, stabile și inteligente.

De ce rețelele tradiționale se luptă cu AI Trafic

În rețelele tradiționale de centre de date, un număr mare de fluxuri mici permite echilibrarea sarcinii per-flux pentru a obține o distribuție acceptabilă și evitarea congestionării chiar și fără-conștientizarea în timp real a condițiilor rețelei. Traficul AI este foarte diferit: utilizarea lățimii de bandă este extrem de mare și traficul este adesea dominat de doar câteva fluxuri de elefanți. Ciocnirile hash pot plasa, prin urmare, mai multe fluxuri mari pe aceeași cale, în timp ce alte căi rămân subutilizate. Odată ce are loc pierderea pachetelor, timpul de finalizare a întregii sarcini de lucru AI poate crește semnificativ. Din acest motiv, industria se concentrează din ce în ce mai mult pe algoritmi optimizați de echilibrare a sarcinii-pentru fabricile AI, astfel încât traficul să fie distribuit mai uniform pe mai multe căi .

Figura 1. Comparație între traficul-fluxului de elefanți AI și traficul-în flux tradițional mic.

Combinarea conștientizării dinamice cu luarea{0}}de decizie inteligentă

Rutarea inteligentă dinamică este o tehnologie de echilibrare a sarcinii-bazată{1}}conștientizării. Utilizează calitatea căii detectată de comutatoarele din țesătură pentru a ajusta selecția locală a căii și acceptă echilibrarea sarcinii ponderată dinamic. Construită pe BGP, tehnologia definește un nou atribut extins-comunității.

Măsurătorile multi-dimensionale, de-înaltă precizie sunt utilizate pentru a evalua calitatea căii, iar rezultatul este propagat prin BGP pentru a ghida redirecționarea ulterioară a traficului. Acest lucru îmbunătățește distribuția-încărcării la nivel de rețea și reduce timpul de răspuns al aplicației [1].

Figura 2. Flux de lucru dinamic de conștientizare, decizie și execuție.

În-Telemetrie în bandă

Măsurarea întârzierii-de redirecționare se bazează pe INT (In-telemetrie de rețea în bandă) și poate atinge o precizie la nivel de-nanosecunde. HDC (High Delay Capture) captează pachete care experimentează o latență ridicată în interiorul ASIC. Când un pachet depășește un prag de întârziere definit de utilizator-, comutatorul trimite primii 150 de octeți ai pachetului original împreună cu metadate, inclusiv portul de intrare, portul de ieșire și latența, către un colector. În acest design, procesorul acționează ca colector și analizor HDC, permițând măsurători de întârziere de înaltă{8}}precizie-de redirecționare și o evaluare mai precisă a calității-căii.

Figura 3. Propagarea calității căii-și instalarea WCMP.

Tehnologia folosește un nou atribut BGP extins-comunității, Path Bandwidth Extended Community, pentru a indica calitatea agregată a unei căi către o destinație. Octetul de ordin superior-al câmpului de tip-extins este 0x00, iar octetul de-ordine inferior este 0x05. În câmpul de valoare, subcâmpul Global Administrator reprezintă numărul AS. Calitatea căii este codificată în patru octeți folosind formatul IEEE{10}}virgula mobilă și exprimată în GB/s .

Când NIC1 comunică cu NIC2, NIC2 își anunță mai întâi adresa IP către Leaf2. Leaf2 face publicitate adresa către Spine împreună cu valoarea calității-legăturii către NIC2 înmulțită cu greutatea legăturii în jos Leaf2. Spine adaugă propria sa calitate a legăturii ponderate și transmite valoarea acumulată către Leaf1. Leaf1 rezumă calitatea căii și instalează rute care ghidează redirecționarea. Într-o țesătură cu două-niveluri Leaf-Spine, porturile sunt clasificate ca Leaf uplinks, Leaf downlinks și porturi Spine, cu coeficienți de calcul configurabili pentru fiecare clasă.

trafic proporțional între legături. În rutarea dinamică inteligentă, greutățile WCMP sunt ajustate în timp real în funcție de calitatea căii. De exemplu, dacă există două căi între NIC1 și NIC2, sistemul poate calcula un raport de 3:7. Pe măsură ce traficul se modifică, informațiile de calitate actualizate ale căii-sunt propagate prin BGP către fiecare comutator Leaf, unde sunt generate rute WCMP dinamice pentru a ghida redirecționarea .

Îndepărtarea anormală a căii

Când calitatea agregată a unei căi scade sub un prag convenit, calea este considerată inutilizabilă pentru volumul de lucru AI și este eliminată din redirecționare. Căile rămase continuă să transporte trafic prin WCMP dinamic. Odată ce calea revine la normal, este restabilită. Deși acest lucru poate lăsa temporar o anumită capacitate nefolosită, previne congestia mai serioasă și pierderea pachetelor [1].

Echilibrare inteligentă a sarcinii (ALB)

ALB oferă o distribuție a sarcinii bazată pe Flowlet{0}}. ASIC măsoară sarcina și latența pe diferite porturi în timp real și direcționează fiecare Flowlet către legătura cu sarcină mai mică sau întârziere mai mică. Acest lucru adaugă o programare mai precisă-pe lângă ECMP tradițional. ALB acceptă, de asemenea, failover-ul portului și redistribuie automat traficul atunci când o legătură de ieșire eșuează [1].

Virtualizare

Rețelele front-end au adesea nevoie de suport pentru mai mulți-chiriași, astfel încât diferite resurse GPU să poată fi alocate diferiților utilizatori. Soluția folosește VRF (Virtual Routing and Forwarding) pentru a izola chiriașii, cu câte un VRF atribuit fiecărui utilizator. Subrețelele asociate GPU-sunt plasate în VRF-ul utilizatorului, iar ACL-urile PRE din ASIC clasifică traficul de intrare, astfel încât traficul fiecărui utilizator este redirecționat numai în VRF-ul corespunzător [1].

Grup de calcul global: legăturile în mai multe-regiuni între TR-uri sunt furnizate în funcție de traficul de vârf între-regiuni, cu QoS opțional între-regiuni pentru a crea un grup de calcul unificat în regiuni [2].

3. Rețeaua de servicii-global Inference

O rețea globală de inferență selectează modele de implementare în funcție de resursele și serviciile cloud disponibile în fiecare regiune și oferă o distribuție și acces eficient la servicii [2].

• Implementarea modelului sau a agentului: utilizați implementarea Model Studio MaaS, implementarea PAI-EAS sau Function Compute PaaS sau implementarea IaaS pe infrastructura metalică EGS, ACK, ACS sau Lingjun din interiorul VPC-ului clientului.
• Distribuție de servicii: creați un-VPC de distribuție de inferență și conectați rețele private utilizând VPC Peering, VPC-uri de serviciu- cloud asociate sau PrivateLink. Implementați ALB sau ALB îmbunătățit ca punct de acces și solicitări proxy către diferite modele sau agenți.
• Acces la serviciu: utilizatorii locali de internet pot accesa direct ALB îmbunătățit; utilizatorii de la distanță pot folosi Global Accelerator (GA); utilizatorii interni sau externi Alibaba Cloud se pot conecta privat prin PrivateLink.

Această carte albă explică provocările cu care se confruntă rețelele IDC în era AI și modul în care rutarea inteligentă dinamică le poate aborda. Conștientizarea dinamică, luarea inteligentă a deciziilor-, virtualizarea WCMP, ALB și VRF îmbunătățesc eficiența echilibrării sarcinii-, reduc congestia și pierderea de pachete și accelerează antrenamentul și inferența AI. Secțiunea de planificare pune accent pe segmentarea VPC, designul-de ieșire a colecțiilor, agregarea și preprocesarea pe mai multe-regiuni, instruirea modelului și livrarea inferenței globale. Pe măsură ce AI continuă să evolueze, rețelele centrelor de date se vor confrunta cu cerințe mai stricte. Rutarea inteligentă dinamică va continua să se îmbunătățească pentru IA de vârf, învățarea federată și alte scenarii complexe. Viitoarele rețele IDC vor pune un accent mai mare pe convergența rețelei de calcul-, eficiența energetică și operațiunile automate, creând o bază mai inteligentă, eficientă și mai fiabilă pentru economia digitală.

Referințe

Documentul sursă tehnic furnizat de utilizator-.

Cartea albă a rețelei Alibaba Cloud AI. Accesat 27 mai 2026.

https://help.aliyun.com/zh/cloud-rețea- bine-arhitectat-design/alibaba-cloud-ai-rețea-carte albă-