AWS pristato hibridinį agentų karkasą, mažinantį LLM kaštus derinant vietinius ir debesijos modelius
Trumpai: AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Trijų lygių architektūra: SLM orkestratorius, vietinis apdorojimas (telemetrija, vaizdas), debesijos apdorojimas (Bedrock)
- 2Orkestratorius naudoja llama3.2:1b, veikiantį vietoje per Ollama, be kietai užkoduotų maršrutizavimo taisyklių
- 3Vaizdo analizei naudojamas vietinis llama3.2-vision modelis, todėl kameros duomenys lieka įrenginyje
- 4Debesijos įrankis kreipiasi į Amazon Bedrock tik sudėtingoms analizėms, reikalaujančioms platesnio samprotavimo
- 5Izoliuotų (air-gapped) aplinkų variantas pakeičia debesijos iškvietimus didesniu vietiniu modeliu (llama3.2:3b)
- 6Ateities kryptis: įrankių atvėrimas kaip MCP serverių, leidžiančių paskirstytą, daugiaįrenginį įrankių kvietimą
- 7AWS teigia, kad hibridinėje konfigūracijoje apie 80% srauto nepasiekia mokamo API
- 8Rekomenduojama debesijos išvadų kelyje naudoti Amazon Bedrock Guardrails atsakingam AI kontroliuoti
Kodėl tai svarbu?
Tai parodo praktinį kaštų/uždelsimo optimizavimo modelį agentinėms sistemoms: vietoje nuolatinio brangaus didelio modelio kvietimo, paprastos užklausos gali būti sprendžiamos vietoje ir akimirksniu, o debesijos kaštai bei tinklo uždelsimas patiriami tik sudėtingesniems klausimams.
Ką tai reiškia AI agentams ir kontaktų centrams?
Įmonėms, kuriančioms balso agentus su įrankių kvietimu, šis modelis siūlo būdą sumažinti API kaštus ir uždelsimą per skambutį: mažas vietinis modelis galėtų akimirksniu apdoroti rutinines užklausas (statuso patikrinimus, paprastus CRM užklausimus), o debesijos LLM būtų skirtas tik sudėtingam samprotavimui, o MCP siūlo standartizuotą būdą centralizuoti ir dalintis įrankiais tarp kelių diegimų.
🧪 Verta testuoti
Patikrinus, ar mažas vietinis orkestracijos modelis gali patikimai nukreipti balso agento užklausas arba į greitą vietinį įrankį, arba į debesijos LLM, galima atrasti reikšmingą kaštų ir uždelsimo sumažėjimą kontaktų centrų diegimuose su dideliu skambučių srautu.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Adaptive agentic intelligence framework using Strands Agents“2026-10-22 00:23
- Šaltinio publikavimo data
- 2026-10-22 00:23
- Mūsų sistema rado
- 2026-10-22 00:26
- Santrauka sugeneruota
- 2026-10-22 00:27
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas