IBM sujungia transkripciją, sprendimų priėmimą ir pokalbį viename Granite Switch modelyje
Trumpai: IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Hugging Face“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pridėtas naujas bendros paskirties sprendimų aLoRA adapteris
- 2Guardian aLoRA, pranešama, lenkia Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions ir Clef-Flash saugumo sprendimų užduotyse
- 3Integruotas Granite-Speech-5.0-Turbo-CTC transkripcijai, reitinguojamas sparčiausiu OpenASR lentelėje
- 4Sujungtos pokalbio, sprendimų ir kalbos funkcijos telpa į maždaug tokį patį VRAM kiekį kaip ir pats pagrindinis modelis
- 5vLLM patobulinimai sumažina papildomas sąnaudas žemo rango adapterių inferencijai, leisdami greitai perjungti užklausų tipus
- 6Pasirinktinius adapterius galima sudaryti iš Granite Libraries; 3B parametrų demo modelis žaidė Doom 60-100 sprendimų per sekundę, palyginti su konkurento nurodytais 10 sprendimų per sekundę
| Parametras | Buvo | Dabar |
|---|---|---|
| Funkcijos per endpoint | Atskiri modeliai/endpoint'ai pokalbiui, sprendimams ir kalbai | Pokalbis, sprendimų priėmimas ir ASR transkripcija sujungti viename endpoint'e |
| VRAM naudojimas | Nenurodyta | Maždaug tiek pat VRAM kiek ir pagrindinis modelis vienas, nepaisant papildomų funkcijų |
| Sprendimų adapteriai | Ankstesnėje versijoje Decision aLoRA nebuvo | Bendros paskirties Decision aLoRA ir specializuotas Guardian aLoRA saugumo sprendimams |
| ASR komponentas | Nenurodyta | Integruotas Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge |
| Inferencijos greitis (sprendimų srautas, 3B demo) | Konkurentas Jev nurodė 10 sprendimų per sekundę | Granite Switch 3B versija pasiekė 60-100 sprendimų per sekundę |
Kodėl tai svarbu?
Transkripcijos, klasifikavimo/sprendimų priėmimo ir pokalbio generavimo vykdymas iš vieno modelio egzemplioriaus vietoj trijų atskirų diegimų galėtų sumažinti infrastruktūros kaštus ir vėlavimą komandoms, kuriančioms balso valdomą automatizaciją ir realaus laiko turinio moderavimą.
Ką tai reiškia AI agentams ir kontaktų centrams?
Komandoms, kuriančioms balso agentus ir skambučių centrų grandines, vienas endpoint'as, apdorojantis ASR transkripciją, saugumo/sprendimų klasifikaciją ir pokalbio generavimą, galėtų sumažinti modelių šuolių skaičių skambučio apdorojimo grandinėje, mažinant vėlavimą ir GPU poreikį; verta palyginti transkripcijos tikslumą, sprendimų adapterio patikimumą ir bendrą atsako laiką su dabartine kelių modelių sistema, ypač mažesnių kalbų transkripcijos poreikiams.
🧪 Verta testuoti
Vieningo endpoint'o dizainas ir teigiamas sparčiausio ASR vertinimas galėtų reikšmingai sumažinti vėlavimą ir infrastruktūros kaštus realaus laiko balso grandinėse, todėl verta išbandyti transkripcijos tikslumą ir sprendimų adapterio elgseną lyginant su esamomis sistemomis.
Šaltiniai
- Hugging FaceOficialusPirminis šaltinisOriginalus straipsnis →„Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint“2026-10-15 23:34
- Šaltinio publikavimo data
- 2026-10-15 23:34
- Mūsų sistema rado
- 2026-10-15 23:41
- Santrauka sugeneruota
- 2026-10-15 23:44
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas