Nel dinamico mondo dei modelli di linguaggio di grande dimensione (LLM), Meta ha scatenato un vero e proprio terremoto con l'annuncio del loro nuovo modello, Llama3. Con un investimento impressionante nell'elaborazione dei dati, Meta prevede di utilizzare l'equivalente di oltre 350k GPU H100 entro il 2024, posizionandosi come un leader indiscusso nell'ecosistema open source già in rapida evoluzione.
Il recente lancio di Llama3 è arrivato poco dopo il debutto del modello Mixtral8x22, consolidando la reputazione di Meta nel campo dell'IA. Questa nuova stella della famiglia Llama si distingue già nelle sue prime ore di "vita". Sebbene le innovazioni architetturali includano solamente l'introduzione della "Grouped Query Attention", il vero punto di forza di Llama3 è il suo dataset,
alimentato da oltre 15 trilioni di token provenienti da fonti accessibili al pubblico.
Llama3 si presenta in due versioni: una da 8 miliardi e una da 70 miliardi di parametri, entrambe dotate di una finestra di contesto di 8192 token, che può essere estesa fino a 32k grazie ai Rotary Positional Embeddings. Questa innovazione fa di Llama3 il primo modello (quasi) Open Source a raggiungere e superare le capacità di GPT-4, rendendolo accessibile anche per l'uso su GPU commerciali.
La versione da 70 miliardi, Llama370B, ha già fatto notizia superando GPT-4 base nella Chatbot Arena e battendo anche Claude3Opus di Anthropic, un altro modello all'avanguardia. La licenza permissiva di Llama3 consente un fine-tuning semplice ed efficace, con un consumo di VRAM ridotto a soli 9 GB per l'adattamento a 4-bit QLoRA.
Il lancio di Llama3 ha lasciato i competitor attoniti, soprattutto con l'annuncio di un "fratello maggiore" ancora in fase di allenamento: la versione 400B, che promette di rivoluzionare ulteriormente il campo, superando anche GPT-4 nei prossimi mesi.
Con tali sviluppi, il futuro dell'intelligenza artificiale appare più luminoso che mai. Restate sintonizzati per gli aggiornamenti futuri: Llama3 è solo l'inizio di una nuova era nell'IA.
Sei pronto a esplorare le possibilità offerte da Llama3? Condividi la tua esperienza e le tue idee con noi. Il futuro degli LLM è qui e ora, e non vorrai certo rimanere indietro!
Comments