Deepgram obniżył koszty transkrypcji wsadowej dzięki przeniesieniu Nova-3 na AWS Trainium2
W skrócie: AWS i Deepgram wspólnie przebudowały model rozpoznawania mowy Nova-3, aby działał natywnie na chipach Trainium2 zamiast standardowej infrastruktury PyTorch opartej na GPU, celując w duże zadania transkrypcji offline. Prace objęły przepisanie wąskich gardeł na własne kernele oraz zastąpienie warstwy serwującej Pythona środowiskiem uruchomieniowym w Rust, komunikującym się bezpośrednio z Trainium. Efekt: pojedyncza instancja trn2.3xlarge uruchamiająca osiem równoległych kopii modelu przetwarza 11-70% więcej dźwięku na dolara niż poprzednia infrastruktura Deepgram, a podobne oszczędności mogą być dostępne dla klientów samodzielnie hostujących rozwiązanie na SageMaker.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Nova-3 w pełni przekompilowany pod Trainium2 za pomocą TorchNeuron, bez żadnych operacji odpadających do CPU
- 2Ręcznie napisane kernele NKI dla warstw FFN, depthwise conv1d i conv2d dały do 50x przyspieszenia w module konwolucji przy mniejszych rozmiarach batcha
- 3Serwowanie oparte na Pythonie zastąpiono lekkim środowiskiem w Rust, które wywołuje bezpośrednio Neuron Runtime API, redukując narzut interpretera i blokad (GIL)
- 4Pojedyncza instancja trn2.3xlarge obsługuje teraz osiem równoległych replik modelu, dając 7,5% wyższą przepustowość niż poprzednia konfiguracja Python multiprocessing
- 5Wynik netto: 11-70% więcej dźwięku transkrybowanego na dolara w zadaniach wsadowych offline w porównaniu z poprzednią infrastrukturą Deepgram
| Parametr | Było | Jest |
|---|---|---|
| Docelowy sprzęt | Standardowy PyTorch na poprzednich opcjach obliczeniowych | AWS Trainium2 (trn2.3xlarge) przez Neuron/TorchNeuron |
| Przepustowość na dolara | Bazowa opcja obliczeniowa, którą wcześniej używał Deepgram | 11-70% więcej dźwięku przetwarzanego na dolara |
| Środowisko serwujące | System Python multiprocessing/multithreaded do przetwarzania równoległego | Dedykowany system Rust, 7,5% szybszy niż bazowa konfiguracja Python MP przy maksymalnym rozmiarze batcha |
| Repliki na urządzenie | Nie określono | 8 replik modelu (DP8) na jednej instancji trn2.3xlarge |
Dlaczego to ważne?
Dla każdego zespołu prowadzącego transkrypcję wsadową na dużą skalę - przegląd QA, archiwizacja zgodności, dokumentacja medyczna lub contact center - pokazuje to drogę do istotnego obniżenia kosztów transkrypcji za minutę poprzez przeniesienie obciążeń na dedykowane chipy AI zamiast ogólnych GPU, bez wpływu na dokładność modelu.
Co to oznacza dla agentów AI i contact center?
Jeśli wolumen transkrypcji wsadowej do analityki połączeń lub QA jest znaczący, warto śledzić, czy Deepgram przełoży te obniżki kosztów na ceny API, lub rozważyć samodzielne wdrożenie Nova-3 na Trainium2 przez SageMaker - mogłoby to obniżyć koszty STT za minutę; warto porównać z obecnymi dostawcami pod kątem kosztu za godzinę i wskaźnika błędów słów.
🧪 Warte przetestowania
Udokumentowana poprawa kosztów o 11-70% na godzinę dźwięku w rzeczywistych zadaniach transkrypcji wsadowej to konkretny, mierzalny zysk efektywności wart zweryfikowania względem Twoich wolumenów połączeń i wymagań dotyczących dokładności.
Źródła
- AWS Machine LearningOficjalneŹródło pierwotneOryginalny artykuł →„How Deepgram optimized voice AI at scale with AWS Trainium“19 paź 2026, 19:23
- Data publikacji źródła
- 19 paź 2026, 19:23
- Znalezione przez nasz system
- 19 paź 2026, 19:43
- Podsumowanie wygenerowano
- 19 paź 2026, 19:46
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność