Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata
Modeliai· Svarbu· 🧪 Verta testuoti

Retosios dėmesio architektūros optimizavimas didelio konteksto LLM

Trumpai: „NVIDIA“ paskelbė technines gaires, kaip kurti retosios dėmesio („sparse attention“) mechanizmus didelio konteksto modeliams. Optimizuojant „indexer“ branduolius, kurie prieš atliekant pilną dėmesio skaičiavimą nustato svarbiausius duomenis, galima žymiai padidinti išvedimo (inference) efektyvumą esant daugiau nei 100 tūkst. žetonų kontekstui.

Šaltinis: NVIDIA DeveloperNVIDIAOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1Rekomenduojama grupių dydį G padaugintą iš spekuliacinio projekto gylio D+1 išlaikyti 200–256 eilučių „Tensor Core“ plytelėje.
  • 2Rekomenduojama naudoti FP16 „indexer“ epilogui ir kaupimui, kad padidėtų pralaidumas.
  • 3Pasisakoma už vieną raktų galvutę (KH=1) su tarp-galvučių redukcija, siekiant išvengti linijinio vykdymo laiko augimo.
  • 4Pasiūlyta naudoti 128 arba 256 galvutės dimensiją (Hsz), kad būtų subalansuotas „Tensor Core“ išnaudojimas ir atminties srautas.

Kodėl tai svarbu?

Kai konteksto langai pasiekia šimtus tūkstančių žetonų, tankusis dėmesio mechanizmas tampa pagrindine skaičiavimo kliūtimi. Aparatūrai pritaikyto retosios dėmesio mechanizmo įdiegimas leidžia išlaikyti našumą be linijinio vykdymo laiko augimo, būdingo tradiciniams metodams.

Ką tai reiškia AI agentams ir kontaktų centrams?

Kuriant ilgo konteksto balso agentus ar analizuojant didelius skambučių žurnalus, šios išvados yra labai svarbios. Jei kuriate pasirinktinius modelius arba optimizuojate diegimo procesus, naudokite šias gaires „indexer“ branduolio našumui profiliuoti ir subalansuoti atminties ribojamą „decode“ operaciją su skaičiavimo ribojama „prefill“ faze.

🧪 Verta testuoti

Šie dizaino šablonai leidžia sumažinti „prefill“ vėlavimą ir pagerinti pralaidumą agentų užduotims su ilgu kontekstu.

Sparse Attention Co-design· Nauja

Šaltiniai

  • NVIDIA DeveloperOficialusPirminis šaltinis
    „Co-Designing Sparse Attention for Efficient Long-Context Inference“
    2026-11-17 19:30
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-17 19:30
Mūsų sistema rado
2026-11-17 19:43
Santrauka sugeneruota
2026-11-17 19:44

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas