Retosios dėmesio architektūros optimizavimas didelio konteksto LLM
„NVIDIA“ paskelbė technines gaires, kaip kurti retosios dėmesio („sparse attention“) mechanizmus didelio konteksto modeliams. Optimizuojant „indexer“ branduolius, kurie prieš atliekant pilną dėmesio skaičiavimą nustato svarbiausius duomenis, galima žymiai padidinti išvedimo (inference) efektyvumą esant daugiau nei 100 tūkst. žetonų kontekstui.