Orca Security 90% sumažino užklausų kaštus naudodama pakopinį Bedrock agentų konvejerį
Trumpai: Orca Security sukūrė Discovery AI — Amazon Bedrock agentą, verčiantį paprastus klausimus natūralia kalba į struktūrizuotas užklausas Sonar sistemai, kuri stebi daugiau nei 900 debesijos išteklių tipų. Vietoj vieno didelio modelio su visa schema kiekviename užklausime, gamybinė versija darbą paskirsto devynioms specializuotoms pakopoms ir keliems skirtingiems pagrindiniams modeliams. Rezultatas — gerokai mažesnės sąnaudos, greitesni atsakymai ir geresnis tikslumas sudėtingoms užklausoms; sistema veikia nuo 2026 m. kovo.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Konvejerio pakopos: šablonais pagrįstas greitas atpažinimas, saugos apsauga, pavyzdžių paieška per embeddingus, perrikiavimas, modelio apimties parinkimas, agentinis filtro generavimas, validavimas su pakartojimais, atsakymo formavimas
- 2Claude Haiku 4.5 atsakingas už modelio pasirinkimą ir filtro generavimą; Nova 2 Lite valdo apsaugą ir validavimą; Titan generuoja embeddingus; Cohere Rerank 3.5 perrikiuoja gautus pavyzdžius
- 3Įvesties žetonų skaičius vienai užklausai sumažėjo nuo apie 2 mln. iki 140 000 — 93% sumažinimas
- 4Bendra užklausos kaina sumažėjo 90%, lyginant su pirminiu vieno promptu veikusiu prototipu
- 5Vidutinis atsako laikas sumažėjo nuo apie 60 sekundžių iki 15 sekundžių — 75% sumažinimas
- 6Žmogaus atliekamo žymėjimo procesas leidžia ekspertams taisyti rezultatus ir iškart papildyti pavyzdžių bazę be naujo diegimo
- 7Gamyboje veikia nuo 2026 m. kovo, apdorodama tūkstančius užklausų per dieną
Kodėl tai svarbu?
Tai rodo, kad LLM agento suskaidymas į specializuotas, tinkamo dydžio pakopas – o ne vienas milžiniškas promptas – realiai leidžia natūralios kalbos į struktūrizuotas užklausas verčiančioms sistemoms veikti pakankamai pigiai ir greitai gamybinėje apkrovoje.
Ką tai reiškia AI agentams ir kontaktų centrams?
Tas pats principas tinka balso ir pokalbių agentams, kuriems reikia užklausti didelius duomenų rinkinius (CRM įrašus, skambučių žurnalus, bilietų sistemas): naudoti pigų greitą atpažinimą paprastoms paieškoms, generavimo modeliui siųsti tik aktualias schemos dalis, o stipriausią modelį taupyti sudėtingiausiam loginiam žingsniui — tai konkretus būdas mažinti skambučio kainą ir latenciją.
🧪 Verta testuoti
Pakopinis modelių paskirstymas ir paieškos su perrikiavimu metodas tiesiogiai pritaikomas kuriant pigesnius, mažesnės latencijos agentus struktūrizuotų duomenų paieškai kontaktų centrų procesuose.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Natural language security queries at Orca Security using Amazon Bedrock“2026-10-13 19:03
- Šaltinio publikavimo data
- 2026-10-13 19:03
- Mūsų sistema rado
- 2026-10-13 19:11
- Santrauka sugeneruota
- 2026-10-13 19:17
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas