Abbiamo già parlato di Ollama, il tool che permette di far girare un chatbot in locale e di Qwen, fra i migliori modelli di IA cinesi (dopo il successo di DeepSeek), Qwen è sviluppato da Alibaba.
Esistono varie versioni di Qwen (ad oggi arriva alla versione 2.5, poi ci sono le varie specializzazioni, uso generale piuttosto che Math, Coder...) e con vari parametri. Ovviamente un modello con più parametri in genere è più accurato, ma in termini di risosrse può esserci una sproporzione enorme (ad esempio GPT-4 ha 1760 miliardi di parametri, risposte in genere un po' migliori di modelli da 7-8 miliardi di parametri, che comunque nonostante il gap enorme di risorse, in vari casi dimostrano comunque una qualità più che discreta!).
Nello specifico, ho voluto testare un modello "ultra light", ovvero la versione 1.5 di Qwen da 0.5B parametri (fra i modelli generativi e non di tipo embed, è il più legger che abbia trovato), che troviamo sul sito ufficiale ollama.com. Avendo già installato Ollama, il comando da eseguire da terminale è semplicemente ollama run qwen:0.5b e installa questa versione appunto da mezzo miliardo di parametri, peso 395 MB. Dopo l'installazione, in automatico si avvia (anche nelle prossime occasioni, il comando ollama run qwen:0.5b avvia direttamente il modello).
Specie trattandosi di un modello piccolino, ho scelto di interagire in lingua inglese anziché in Italiano. L'uso di risorse di questo modello (un modello da 0.5B, peso 395 MB appunto) è limitato, rispetto ad altri modelli da 7-8B che in aggiunta al sistema operativo, occupavano praticamente 6-7 GB complessivi di RAM e l'esecuzione era piuttosto lenta. In questo caso invece l'output è molto fluido, veloce.
Algebra: risoluzione sistema non lineare
maths, find the solutions of the system -4x3 + 4x - 4y = 0; -4y3 -4x + 4y = 0
Un problema che ho già sottoposto a più chatbot. Allora, diciamo subito che è un compito complesso e infatti non ha risposto correttamente (o meglio, dice di isolare una variabile e sostituirla nell'altra equazione, procedura teoricamente corretta, se ne guarda bene però dal fornire il risultato); chiedendo poi di fornirmi il risultato, mi dice che non è in grado. Era solo una prova, ribadisco che è un compito troppo complesso per un chatbot ultraleggero.
Cultura generale: filosofia
Philosophy, an you summarize Kant's thought?
Una sintesi generale "puoi parlarmi di questo argomento" (il pensiero del filosofo Kant, in questo esempio), risposta corretta e ben strutturata. Per questi usi, il chatbot è una soluzione semplice e funzionale.
Traduzione: lingua giapponese
Can you translate ダイキン工業株式会社? Which alphabets are there?
Qui ci sono varie imprecisioni, riconosce la lingua giapponese ma non indica gli alfabeti (Katakana e Kanji) e traduce il testo come "Industrial Department of Dijigan Industry Group" (in India) mentre la traduzione corretta è "Daikin Industries, Ltd.".
In conclusione, è un modello ultra leggero e va utilizzato per compiti semplici. Anche nella traduzione può avere difficoltà, mentre per una sintesi generale di un argomento noto in letteratura (quindi evitando richieste particolari di elaborazione, ragionamento), può essere utile, dato che fornisce il risultato analogo agli altri chatbot, in modo molto più rapido, consumando meno risorse. Abbiamo visto quindi che anche modelli ultra-light come questo, possono risultare utili e funzionali a certi scopi.
