In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per ottimizzare le prestazioni nell'inference.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai concorrenti.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inference. I risultati preliminari dei benchmark condotti su InferenceX di Semianalysis rivelano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inference attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. Questa sinergia mira a creare una piattaforma multigenerazionale in grado di coordinare chip, memoria e modelli. L’architettura di Jalapeño è stata concepita per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inference. Come sottolineato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.”
Un aspetto innovativo di Jalapeño è la gestione dello stato del modello, che include la KV cache utilizzata durante la generazione delle risposte. Questa può essere allocata e mantenuta localmente, consentendo al sistema di attivare la combinazione adeguata di calcolo, memoria e rete per ogni fase di inference. Richard Ho, responsabile hardware di OpenAI, ha commentato: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi limitati entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questa innovazione potrebbe segnare un passo importante nel campo dell’intelligenza artificiale, migliorando l’efficienza e la rapidità delle risposte in un settore in continua evoluzione.