GSM-Symbolic: Comprensione delle limitazioni del ragionamento matematico nei LLM

I recenti progressi nell'intelligenza artificiale hanno visto l'emergere di modelli linguistici di grandi dimensioni (LLM) capaci di svolgere compiti complessi, tra cui il ragionamento matematico. Uno studio approfondito, condotto da Mirzadeh et al. (2024), ha evidenziato i limiti del benchmark GSM8K, un popolare strumento di valutazione per LLMs in ambito matematico. I ricercatori hanno identificato problemi come la contaminazione dei dati, l'incapacità di variare la complessità delle domande e la mancanza di diversità nei tipi di problemi. Per affrontare questi limiti, hanno sviluppato GSM-Symbolic, un nuovo benchmark che consente una valutazione più accurata e flessibile delle capacità di ragionamento matematico degli LLMs. GSM-Symbolic utilizza template simbolici per generare diverse varianti di domande matematiche, permettendo agli sviluppatori di testare la robustezza dei modelli e la loro capacità di gestire diversi livelli di complessità. Lo studio ha rivelato che gli LLMs attuali sono molto sensibili alle piccole modifiche nelle domande, mostrando fragilità strutturale nel loro ragionamento matematico. Questo evidenzia la necessità di sviluppare modelli più robusti e accurati per i compiti che richiedono ragionamento logico e matematico, e sottolinea l'importanza di una valutazione accurata prima di implementare LLMs in contesti aziendali reali.