NVIDIA išplėtė „Nemotron“ liniją naujais paieškos, perrikiavimo ir dokumentų analizės modeliais dirbtinio intelekto agentams
Trumpai: NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Hugging Face“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Naujas leidimas: Nemotron 3.5 Embed 8B BF16, 1B BF16, 1B NVFP4, Rerank 8B BF16 ir Parse su 631M parametrų
- 2Embed 8B BF16 pirmauja „ViDoRe v3.1“ dense paieškos lyderių lentelėje su 61.17 nDCG@10 balu, palyginti su 52.23 ankstesnės kartos 1B modeliu
- 3„Rerank“ derinimas su „Embed“ sumažina agento žetonų kainą užklausai apie 13-14%, kartu pagerindamas paieškos tikslumą
- 4Rerank 8B pirmauja naujoje „ViDoRe v3.1“ perrikiavimo lyderių lentelėje su 60.49 nDCG@10, palyginti su 59.17 Qwen-3-VL-Reranker-8B
- 5NVFP4 kvantuotas 1B „Embed“ modelis veikia 27.1% greičiau nei BF16 versija (128.8 vs 101.3 dokumentų/sek. GB200 platformoje), išlaikydamas 99.85% paieškos tikslumo
- 6Srities pritaikymo (fine-tuning) receptai padidina nDCG@10 18% (1B modelis) ir 3% (8B modelis) duomenyse su daug diagramų ir infografikų
- 7NVIDIA „NIM“ aptarnavimo sprendimas pasiekia apie 2.9 karto didesnį pralaidumą nei panašus vLLM sprendimas (6031 vs 2099 užklausų/sek.)
| Parametras | Buvo | Dabar |
|---|---|---|
| Linija | Nemotron 3 Embed / Llama Nemotron Embed VL 1B | Nemotron 3.5 Embed (8B BF16, 1B BF16, 1B NVFP4), Nemotron 3.5 Rerank 8B BF16, Nemotron 3.5 Parse 631M |
| ViDoRe v3.1 dense paieškos balas | 52.23 nDCG@10 (Llama Nemotron Embed VL 1B) | 61.17 nDCG@10 (Nemotron 3.5 Embed 8B BF16), 1 vieta |
| Perrikiavimo balas | 59.17 nDCG@10 (Qwen-3-VL-Reranker-8B) | 60.49 nDCG@10 (Nemotron 3.5 Rerank 8B BF16) |
| Agento žetonų kaina | Bazinė paieška tik su embedding | ~13-14% mažesnė pridėjus perrikiavimą, kartu didesnis tikslumas |
| NVFP4 pralaidumas | 101.3 dok./sek. (1B BF16, GB200) | 128.8 dok./sek. (1B NVFP4), išlaikant 99.85% tikslumo |
| NIM aptarnavimo pralaidumas | 2099 užkl./sek. (vLLM) | 6031 užkl./sek. (NIM, RTX PRO 6000 Blackwell) |
Kodėl tai svarbu?
Komandos, kuriančios RAG principu veikiančius agentus, dažnai moka už iššvaistytus inferencijos žetonus, kai paieška pateikia nereikšmingus ar nepilnus įrodymus; geresnis embedding ir perrikiavimas tiesiogiai sumažina šias išlaidas ir pagerina atsakymų kokybę, o multimodalus palaikymas leidžia ieškoti ir lentelėse, diagramose bei skenuotuose dokumentuose, ne tik paprastame tekste.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei balso agentas ar kontaktų centro žinių bazė remiasi paieška instrukcijose, skambučių žurnaluose ar skenuotuose PDF dokumentuose, šiuos modelius verta palyginti pagal paieškos tikslumą jūsų dokumentų tipams, žetonų kainos sutaupymą per užklausą ir pralaidumą/vėlinimą esant jūsų tikėtinam užklausų kiekiui, ypač todėl, kad parseris apdoroja vizualinius elementus, tokius kaip lentelės ir diagramos, kurių paprastas teksto ištraukimas nepagautų.
🧪 Verta testuoti
Nurodytas žetonų kainos sumažėjimas ir aukščiausi paieškos lyderių lentelių rezultatai rodo reikšmingą naudą bet kokiam RAG tipo konvejeriui, todėl verta jį lyginti su dabartiniais paieškos ir perrikiavimo sprendimais pagal tikslumą, vėlinimą ir kainą už užklausą.
Šaltiniai
- Hugging FaceOficialusPirminis šaltinisOriginalus straipsnis →„NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models“2026-10-21 13:41
- Šaltinio publikavimo data
- 2026-10-21 13:41
- Mūsų sistema rado
- 2026-10-21 13:46
- Santrauka sugeneruota
- 2026-10-21 13:49
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas