99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra

GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max? In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.00:00 GPT-6 Astra e il 99,9% su ARC-AGI06:18 Overfitting: quando il benchmark è maxato13:21 Fable 5.1: costi da record e cache23:10 Il nostro benchmark alla pellicano25:33 L'indice di Artificial Analysis non torna33:40 Coding: conta la sensazione d'uso38:04 Formula 1 o auto per la scuola?43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli48:34 Waymo in Europa: inferenza locale su TPU53:46 Nvidia compra Hugging Face, GLM su Huawei1:00:52 Le licenze open weight cambiano1:04:07 Hermes in Gen Z, Q&A e OmniRouterAscolta l'audio anche su Spotify:https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_dropSito, show notes e trascrizione completa:https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_dropIscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.#70