In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per migliorare le prestazioni di inference.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, il suo innovativo chip progettato per ottimizzare le operazioni di inference. I risultati preliminari dei benchmark condotti da InferenceX di Semianalysis rivelano che Jalapeño offre un numero maggiore di token per utente e una throughput superiore per kilowatt rispetto ai processori di inference attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha collaborato con Broadcom per sviluppare Jalapeño, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, in grado di coordinare chip, memoria e modelli per massimizzare l’efficienza.
L’architettura di Jalapeño è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inference. Come dichiarato nel comunicato stampa, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata nella generazione delle risposte, mentre il sistema attiva la combinazione ottimale di calcolo, memoria e rete per ciascuna fase di inference.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “I dati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavori di intelligenza artificiale per unità di potenza, restituendo risposte più rapidamente. È estremamente efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi ridotti entro la fine del 2026, con una distribuzione più ampia attesa per il 2027. Questa innovazione potrebbe rivoluzionare il settore dell’inference, offrendo soluzioni più rapide ed efficienti per le applicazioni di intelligenza artificiale.