Faccio la premessa che, nel corso del tempo, sono stati fatti passi da gigante nell'IA generativa, la prima versione di ChatGPT era spesso inaccurata, specie per compiti complessi (risolvere con procedimenti e risultato corretto un problema di matematica è ben più complesso per il software che fare una sintesi di un testo). Vediamo la situazione ad oggi, poiché è chiaro che in questo panorama di continua crescita, domani un'azienda potrà sviluppare una versione di chatbot ancora più evoluta, accurata.
Il mio test vuole considerare l'abilità specifica per problemi di fisica e matematica. In particolare vediamo un confronto fra ChatGPT e MathGPT Pro:
- ChatGPT: dalla sezione "Explore GPTs" possiamo direttamente selezionare MathSolver a cui poi accediamo sempre da chatgpt.com
- MatGPT Pro (Mathos AI): accediamo tramite mathgptpro.com, lo possiamo sempre usare in modo gratuito
Voglio precisare che il confronto l'ho fatto fra ChatGPT e MathGPT Pro e non ad esempio con Google Gemini, Mistral AI o altri poiché, sebbene più o meno tutti questi software abbiano pregi e difetti, siano validi a livello generale, per problemi di matematica c'è un abisso, ad esempio Google Gemini mi ha fornito una breve intro e poi mi ha consigliato di disegnare i grafici e analizzare le equazioni: senza fornirmi una risposta, lol.
Da precisare inoltre che ChatGPT può essere usato gratuitamente in modo illimitato, MathGPT Pro consente solo cinque prompt giornalieri in versione Free.
Test di fisica: problema di relatività ristretta
La mia domanda è stata:
Fisica, relatività ristretta, spaziotempo di Minkowski: "un oggetto si muove a velocita' 0.8 c rispetto ad un osservatore che si considera in quiete. Quanto sono inclinati gli assi del sistema dell'oggetto in movimento, rispetto agli assi del sistema dell'osservatore?". Io ho calcolato beta=0,8 e gamma=1,667. Come devo procedere?
Le risposte dei due tool sono lunghe e dettagliate, non le sto a riportare, vediamo l'esito:
- ChatGPT: completo, dettagliato, passaggi e risultati corretti al 100%: voto 10 / 10
- MathGPT Pro: velocissimo nella generazione di risposta, a causa però di una formula sbagliata mi fornisce un risultato (anziché due!) ed è sbagliato. Dopo aver fatto notare l'errore, <<La risposta non è corretta a causa di un errore nella formula di theta! I risultati dell'inclinazione spaziale e temporale sono diversi>>, ha risposto correttamente come ChatGPT; quindi potenzialmente valido, ma scarsa affidabilità (solo perché io sapevo il risultato, o potevo verificarlo!), voto 6- / 10
Algebra: risoluzione sistema non lineare
La mia domanda è stata:
Analisi matematica: soluzioni del sistema -4x3 + 4x - 4y = 0; -4y3 -4x + 4y = 0
Vediamo l'esito dei due chatbot:
- ChatGPT: ancora una volta, perfetto! Tutti i passaggi con le spiegazioni e risultato corretto (le tre coppie di punti individuate con correttezza): voto 10 / 10
- MathGPT Pro: grave imprecisione! Il testo si presenta bene, con i vari passaggi, ma... I risultati sono sbagliati! La prima coppia di punti, (0,0) l'ha individuata correttamente mentre poi indica altri due risultati sbagliati; lo faccio notare dicendo <<Solo la coppia (0,0) è corretta. Verifica per favore le altre due soluzioni>> e mi risponde che ha verificato che le altre due soluzioni sono sbagliate, punto. Non prova nemmeno quindi a trovare le soluzioni corrette! Voto 5 / 10
Analisi matematica 2: funzioni in due variabili
La mia domanda è stata:
Analisi matematica 2: la funzione f(x,y)=|x-y|*(x2+y2-1) quali coppie di punti stazionari ha? |x-y| indica il valore assoluto
Vediamo l'esito dei due chatbot:
- ChatGPT: perfetto ancora, pazzesco! tutto lo studio di funzione completo, dai due sottocasi per il valore assoluto, al gradiente uguale a zero, risoluzione del sistema con le quattro coppie di punti stazionari, tutti i risultati corretti. Voto 10 / 10
- MathGPT Pro: la procedura è corretta, ma... <<I punti stazionari possono essere trovati risolvendo i sistemi di equazioni sopra>>. Cioè della serie, "arrangiati" ahah! Ho chiesto espressamente di calcolare i risultati, sono giusti a metà; ho chiesto di correggere e mi mostra nuovamente lo stesso errore (nello specifico √6/3 al posto di √6/6 ovvero 1/√6). Voto 5+ / 10
Conclusioni
È chiaro che la differenza è spaventosa, ad oggi. E da notare che MathGPT Pro, fra i tool che ho testato, è comunque al secondo posto per richieste di questo tipo, gli altri chatbot almeno ad oggi sono meno evoluti. ChatGPT con Math Solver è a dir poco impressionante, si tratta di problemi dell'università di ingegneria, risolti alla perfezione. Dei tre test, merita assolutamente punteggio pieno 10/10 in ognuno, mentre MathGPT Pro risulta ai limiti della sufficienza in alcuni compiti, un po' sotto per altri. Da notare però che in passato ChatGPT tendeva a rispondere sbagliato a diversi problemi di matematica, poi dicendo "controlla il risultato" spesso riusciva a correggere, come oggi ha fatto MathGPT Pro in alcune occasioni che abbiamo visto. Abbiamo quindi modo di credere che nel tempo il software riesca a migliorare, raggiungendo l'accuratezza che oggi ha ChatGPT.
Insomma, oggi il miglior chatbot per la matematica, senza alcun dubbio è Math Solver di ChatGPT. Come già accennato all'inizio, in un mondo in continua evoluzione, ogni giorno può nascere un nuovo software migliore di tutti i precedenti. Dobbiamo imparare ad usarli al meglio, per cavalcare l'onda di questa continua innovazione.
