Sumažinkite savarankiškai priegloboje esančių LLM delsą ir sąnaudas naudodami paskirstytą KV kaupimą
AWS pristatė naują „Agent Toolkit“ funkciją, kuri automatizuoja paskirstytojo raktų-reikšmių (KV) kaupimo diegimą savarankiškai priegloboje naudojamiems LLM. Naudojant „Amazon ElastiCache“, šis sprendimas leidžia GPU klasteriams dalintis KV būsenomis tarp sesijų, taip panaikinant pasikartojančius skaičiavimus pradinio generavimo (prefill) fazėje.