NVIDIA rozszerza linię Nemotron o nowe modele wyszukiwania, rerankingu i parsowania dokumentów dla agentów AI
| Parametr | Było | Jest |
|---|---|---|
| Linia | Nemotron 3 Embed / Llama Nemotron Embed VL 1B | Nemotron 3.5 Embed (8B BF16, 1B BF16, 1B NVFP4), Nemotron 3.5 Rerank 8B BF16, Nemotron 3.5 Parse 631M |
| Wynik wyszukiwania gęstego ViDoRe v3.1 | 52.23 nDCG@10 (Llama Nemotron Embed VL 1B) | 61.17 nDCG@10 (Nemotron 3.5 Embed 8B BF16), 1. miejsce |
| Wynik rerankingu | 59.17 nDCG@10 (Qwen-3-VL-Reranker-8B) | 60.49 nDCG@10 (Nemotron 3.5 Rerank 8B BF16) |
| Koszt tokenów agenta | Bazowe wyszukiwanie tylko z embeddingiem | ~13-14% niższy po dodaniu rerankingu, przy wyższej dokładności |
| Przepustowość NVFP4 | 101.3 dok./sek. (1B BF16, GB200) | 128.8 dok./sek. (1B NVFP4), przy zachowaniu 99.85% dokładności |
| Przepustowość serwowania NIM | 2099 zapytań/sek. (vLLM) | 6031 zapytań/sek. (NIM, RTX PRO 6000 Blackwell) |