Vieningas daugiakalbis kalbos žymėjimas su multimodaliais LLM
Pristatytas „OmniTag-Bench“ – naujas penkių kalbų vertinimo rėmas, skirtas multimodalių LLM testavimui, atliekant sinchroninę kalbos transkripciją ir metaduomenų žymėjimą. Tyrimas rodo, kad vienas, papildomai apmokytas multimodalus modelis gali išgauti transkripciją, emocijas, lytį, kalbą ir vardines entybes vienu žingsniu, pakeičiant atskirus specializuotus modelius.