Snowflake lanceert open Large Language Model Arctic

Snowflake heeft Arctic aangekondigd, een state-of-the-art large language model dat is ontworpen om het meest open enterprise-grade LLM in de markt te zijn. Dankzij de Mixture-of-Experts (MoE) architectuur, levert Arctic top-tier intelligentie met ongeëvenaarde efficiëntie op schaal. Het is geoptimaliseerd voor complexe enterprise-workloads en overtreft verschillende industrie-benchmarks op het gebied van SQL-codegeneratie, het volgen van instructies, en nog veel meer. Bovendien geeft Snowflake de Arctic-weights vrij onder een Apache 2.0-licentie en de details van het onderzoek dat heeft geleid tot hoe het model is getraind.

Het Snowflake Arctic LLM is een onderdeel van de Snowflake Arctic-modelfamilie, een familie van modellen gebouwd door Snowflake die ook het beste praktische tekstinvoegmodel bevatten. Met de lancering van Arctic levert Snowflake een krachtig, echt open model met een Apache 2.0-licentie die onbeperkt persoonlijk, onderzoeks- en commercieel gebruik toestaat. Snowflake gaat nog een stap verder en biedt ook code-templates en flexibele inferentie- en trainingsopties, zodat gebruikers snel aan de slag kunnen met het implementeren en aanpassen van Arctic met behulp van de frameworks van hun voorkeur. Deze bevatten NVIDIA NIM met NVIDIA TensorRT-LLM, vLLM en Hugging Face. Voor direct gebruik, is Actic beschikbaar voor serverloze inferentie in Snowflake Cortex, Snowflake’s volledig beheerde service dat machine learning en AI-oplossingen in de Data Cloud biedt. Dit zal ook beschikbaar zijn op Amazon Web Services (AWS), naast andere model gardens en catalogi, die onder meer Hugging Face, Lamini, Microsoft Azure, NVIDIA API catalog, Perplexity, en Together AI omvatten.

Zorgvuldig ontworpen datasamenstelling
Snowflake's AI-onderzoeksteam had minder dan drie maanden nodig en spendeerde grofweg een achtste van de trainingskosten van vergelijkbare modellen bij het bouwen van Arctic. Getraind door het gebruik van Amazon Elastic Compute Cloud (Amazon EC2) P5-instanties, toont Snowlake hiermee hoe snel state-of-the-art open, enterprise-grade modellen kunnen worden getraind, waardoor gebruikers uiteindelijk kostenefficiënte aangepaste modellen op schaal kunnen maken.
 
Als onderdeel van de strategische inspanning verbetert het gedifferentieerde MoE-ontwerp van Arctic zowel de trainingssystemen als de modelprestaties, met een zorgvuldig ontworpen datasamenstelling die is gericht op de enterprise-behoeftes. Arctic levert ook resultaten van hoge kwaliteit, waarbij 17 van de 480 miljard parameters tegelijk worden geactiveerd om toonaangevende kwaliteit te bereiken met een ongekende tokenefficiëntie. Voor een doorbraak in efficiëntie activeert Arctic ruwweg 50 procent minder parameters dan DBRX en 75 procent minder dan Llama 3 70B tijdens inferentie of training. Daarnaast presteert het volgens Snowflake beter dan toonaangevende open modellen, waaronder DBRX, Mixtral-8x7B en meer in codering (HumanEval+, MBPP+) en SQL-generatie (Spider), terwijl het tegelijkertijd toonaangevende prestaties levert in algemeen taalbegrip (MMLU). Wanneer Arctic wordt gebruikt in Snowflake Cortex, kunnen klanten sneller productieklare AI-apps op schaal bouwen, binnen de beveiligings- en beheerperimeter van de Data Cloud.
 
Arctic embed
Naast de Arctic LLM omvat de Snowflake Arctic-familie ook de onlangs aangekondigde Arctic embed, een familie van state-of-the-art tekstinbeddingsmodellen die beschikbaar is voor de open source community onder een Apache 2.0 licentie. De familie van vijf modellen is beschikbaar op Hugging Face voor onmiddellijk gebruik en is binnenkort beschikbaar als onderdeel van de Snowflake Cortex embed-functie (in private preview). Deze inbeddingsmodellen zijn geoptimaliseerd om toonaangevende retrievalprestaties te leveren bij ruwweg een derde van de grootte van vergelijkbare modellen. Hierdoor hebben organisaties een krachtige en kosteneffectieve oplossing bij het combineren van eigen datasets met LLM's als onderdeel van een Retrieval Augmented Generation of semantische zoekservice.