AI Evals: Nový Bottleneck ve Vývoji Umělé Inteligence

Zdroj: AIfolio.cz

Náklady na evaluace AI modelů začínají přesahovat náklady na jejich trénink. Co to znamená pro budoucí vývoj a dostupnost umělé inteligence?

AI Evals: Nový Bottleneck ve Vývoji Umělé Inteligence Společnost Google DeepMind nedávno zveřejnila data, která naznačují, že náklady na vyhodnocování evaluace velkých jazykových modelů LLM mohou přesáhnout náklady na jejich trénink. Zatímco trénink modelu Gemini Ultra stál odhadem 100 milionů dolarů, průběžné evaluace, které zajišťují jeho bezpečnost a výkon, představují nečekaně vysokou zátěž. Jak se tato dynamika promítne do budoucího vývoje AI? Tradičně se za největší překážku ve vývoji AI považovaly výpočetní zdroje, tedy takzvaný compute bottleneck. Obrovské množství GPU, jako jsou NVIDIA H100, bylo zapotřebí k tréninku modelů na gigantických datových sadách. Nyní se však zdá, že po fázi tréninku přichází ještě náročnější etapa: ověřování, že model skutečně funguje tak, jak má, a