Come eseguire LLM locali da 70B e 120B sul MINISFORUM MS-S1 MAX-P495
È possibile eseguire localmente un modello linguistico di grandi dimensioni da 70B o 120B senza assemblare una workstation con più schede grafiche costose? Il MINISFORUM MS-S1 MAX-P495 è progettato per rendere più accessibile questo tipo di flusso di lavoro di IA locale. Con un processore AMD Ryzen™ AI Max+ PRO 495, 192 GB di memoria unificata LPDDR5X-8533 e fino a 160 GB di VRAM allocabile, offre agli sviluppatori lo spazio necessario per eseguire grandi modelli quantizzati su una workstation compatta.
Gli aspetti pratici sono importanti quanto le specifiche. Questa guida spiega come pianificare la memoria, allocare la memoria grafica condivisa nel BIOS e iniziare a eseguire inferenze in locale sul sistema Windows 11 fornito con il P495.
1. Il MINISFORUM MS-S1 MAX-P495 può eseguire localmente modelli linguistici LLM con 70B e 120B parametri?
Sì. Il MINISFORUM MS-S1 MAX-P495 può eseguire localmente modelli linguistici quantizzati adatti, con 70B e 120B parametri. I suoi 192 GB di memoria unificata e fino a 160 GB di VRAM allocabile offrono una notevole capacità per i pesi del modello, la cache KV e i buffer di inferenza. Le prestazioni effettive dipendono dal modello, dalla quantizzazione, dalla lunghezza del contesto e dal software di inferenza.
Calcola i requisiti di memoria prima di scaricare un modello
Inizia con una semplice stima della memoria necessaria per i pesi del modello:
Memoria approssimativa per i pesi = numero di parametri × bit per parametro ÷ 8
Con un valore ideale di quattro bit per parametro, un modello con 70 miliardi di parametri richiede circa 35 GB solo per i pesi. Un modello 120B alla stessa precisione nominale ne richiede circa 60 GB. Le dimensioni effettive dei file del modello variano perché i formati di quantizzazione includono metadati e scale, e talvolta tensori a precisione più elevata.
Prevedi memoria aggiuntiva per:
· La cache KV, che memorizza i dati di attenzione per la finestra di contesto attiva.
· I buffer di inferenza e i tensori temporanei usati durante la generazione.
· Windows 11, le applicazioni in background e gli altri processi di sistema.
· Prompt più lunghi o più richieste simultanee, che possono aumentare l'utilizzo della memoria.
Il fatto che un file del modello rientri nella memoria disponibile è solo un punto di partenza, non basta a completare il calcolo. Occorre tenere conto anche della lunghezza del contesto e del sovraccarico del runtime.
Confronta il margine di memoria disponibile su diverse workstation
Questa tabella confronta la capacità approssimativa e i modelli che è probabile poter eseguire. Q4 e Q8 indicano livelli di quantizzazione comuni; le dimensioni esatte dei file e l'utilizzo di memoria durante l'esecuzione dipendono dal modello e dall'implementazione.
|
Configurazione della workstation |
Memoria allocabile / fisica |
70B Q4 |
70B Q8 |
Q4 da 120 miliardi |
|
Fino a 96 GB di VRAM allocabile |
Generalmente fattibile |
Spesso fattibile |
Dipende dal modello e dal contesto |
|
|
MS-S1 MAX-P495 (memoria da 192GB) |
Fino a 160 GB di VRAM allocabile |
Generalmente fattibile |
Generalmente fattibile |
Generalmente fattibile |
Una workstation con due GPU non si comporta automaticamente come una singola GPU da 48 GB. Il posizionamento del modello e il supporto multi-GPU dipendono dal motore di inferenza e dalla configurazione del sistema. Il vantaggio del P495 è la sua ampia memoria unificata, che offre a un singolo sistema più spazio per i pesi di modelli quantizzati di grandi dimensioni e per i carichi di lavoro con contesti lunghi.
E per i modelli MoE da 284B?
I modelli Mixture-of-Experts (MoE) attivano solo una parte dei parametri per ciascun token, riducendo così il calcolo rispetto a un modello denso di dimensioni analoghe. Tuttavia, i pesi dell’intero modello devono essere disponibili al sistema di inferenza.
Il MINISFORUM MS-S1 MAX-P495 è stato testato anche con DeepSeek V4 Flash 284B con quantizzazione Q4, utilizzando circa 144 GB di memoria per il modello e raggiungendo una velocità di generazione misurata di 12,35 token al secondo (tok/s). È un esempio concreto di come la quantizzazione e la memoria unificata possano rendere utilizzabile un modello MoE di grandi dimensioni su un’unica workstation compatta.
I benchmark andrebbero sempre interpretati tenendo conto della versione esatta del modello, della quantizzazione, della lunghezza del contesto, del motore di inferenza e del metodo di misurazione. Questi dettagli aiutano i lettori a riprodurre i risultati e a fare confronti omogenei.
Una domanda utile da porsi prima di scegliere un modello: serve il maggior numero possibile di parametri o un equilibrio specifico tra qualità del ragionamento, lunghezza del contesto e velocità di risposta? Il modello più adatto a un flusso di lavoro è quello che ne soddisfa i requisiti, non necessariamente quello con il numero più alto in evidenza.
2. Come allocare 160 GB di VRAM sul MINISFORUM MS-S1 MAX-P495?
L’MS-S1 MAX-P495 utilizza un’architettura di memoria unificata (UMA). La CPU e la grafica Radeon integrata condividono la memoria di sistema, di cui è possibile allocare fino a 160 GB come memoria grafica. Per l’inferenza locale con LLM, l’impostazione della memoria nel BIOS è un passaggio importante per preparare il sistema.
Passaggio 1: Impostare l’allocazione della memoria UMA nel BIOS
Sui modelli MINISFORUM con processori AMD, come il P495, segui questo percorso:
1. Riavvia la workstation e premi Delete per accedere al BIOS Setup.
2. Apri Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration.
3. Seleziona iGPU Configuration e imposta il valore su UMA Specified.
4. Imposta UMA Frame Buffer Size sulla capacità necessaria per il tuo carico di lavoro, ad esempio 160 GB.
5. Salva le modifiche e riavvia il sistema.
Dopo l’avvio di Windows, verifica che il software grafico e quello per l’inferenza possano accedere alla quantità di memoria allocata prevista. Per un modello da 70B o 120B, lascia spazio sufficiente per il sistema operativo, i buffer di runtime e la KV Cache. Scegli l’allocazione in base al modello e al contesto che intendi utilizzare.
Passaggio 2: Verificare l’ambiente Windows 11
Il P495 viene fornito con Windows 11, quindi puoi iniziare senza sostituire il sistema operativo né modificare le impostazioni del kernel Linux. Prima di installare un motore di inferenza:
· Installa gli aggiornamenti di Windows disponibili e il driver grafico AMD supportato per il sistema.
· Assicurati di avere spazio libero sufficiente sull’SSD per scaricare i modelli: quelli di grandi dimensioni possono occupare decine o anche più di cento gigabyte.
· Chiudi le applicazioni non necessarie che consumano molta memoria prima di caricare un modello di grandi dimensioni.
· Dopo aver modificato le impostazioni del BIOS, riavvia il sistema, avvia il software di inferenza e verifica che il backend GPU sia disponibile.
Per questa guida, il primo passaggio consigliato è installare Ollama su Windows. Chi desidera un controllo più diretto può anche usare una build di llama.cpp compatibile con Windows.
3. Qual è il miglior motore di inferenza per AMD Ryzen AI Max+ PRO 495: Ollama o llama.cpp?
Per un flusso di lavoro su un PC desktop con Windows 11, Ollama è un modo semplice per scaricare ed eseguire i modelli supportati. llama.cpp è una valida alternativa per chi desidera un maggiore controllo sui file dei modelli GGUF, sul trasferimento dei layer alla GPU e sui parametri della riga di comando. La scelta giusta dipende dal formato del modello e dal backend supportato dalla build installata.
|
Motore |
Vestibilità perfetta |
Perché sceglierlo |
|
Configurazione locale rapida e gestione dei modelli |
Comandi semplici del modello e un’API locale |
|
|
llama.cpp per Windows |
Modelli GGUF e messa a punto dettagliata dell’inferenza |
Controllo diretto del contesto, offloading sulla GPU e opzioni di runtime |
Passaggio 1: installare Ollama ed eseguire un modello da 70B o 120B
Installa la versione di Ollama per Windows dal sito ufficiale. Al termine dell’installazione, apri PowerShell o Windows Terminal ed esegui un comando per un modello disponibile nella libreria di Ollama.
ollama run llama3.3:70b
Per un modello più grande, il seguente esempio avvia il modello gpt-oss della classe 120B, se la relativa voce è disponibile nella libreria:
ollama run gpt-oss:120b
Al primo avvio il modello viene scaricato, quindi attendi il completamento del download. Verifica prima di avere spazio sufficiente sul disco. I tag dei modelli e le opzioni di quantizzazione possono cambiare, quindi controlla la voce attuale nella libreria prima di avviare un download di grandi dimensioni.
Passaggio 2: impostare la lunghezza del contesto con un Modelfile
Ollama supporta il parametro num_ctx in un Modelfile. L’esempio seguente crea una configurazione locale con un contesto di 8.192 token. Modifica il valore in base al modello e al carico di lavoro che vuoi eseguire.
FROM gpt-oss:120b
PARAMETER num_ctx 8192
Salva questo testo in un file chiamato Modelfile in una cartella di lavoro. Poi esegui questi comandi in quella cartella:
ollama create gpt-oss-120b-local -f Modelfile
ollama run gpt-oss-120b-local
Un contesto più ampio può aumentare la quantità di testo che il modello può considerare in una volta, ma incrementa anche l’uso di memoria della KV Cache. Inizia con un contesto adatto alla tua attività, poi regolalo per documenti più lunghi o conversazioni estese.
Passaggio 3: usare llama.cpp per un controllo diretto
Se preferisci i file GGUF e un controllo più diretto del runtime, installa una build di llama.cpp compatibile con Windows e dotata di un backend GPU supportato. Scarica le build dalle release ufficiali del progetto e segui le istruzioni specifiche della build scelta.
Uno schema tipico da riga di comando per un modello GGUF compatibile è:
llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Spiega come funziona l’inferenza locale degli LLM."
L’opzione -ngl 999 richiede di trasferire alla GPU il maggior numero possibile di layer del modello, compatibilmente con quanto consentito dal backend. La posizione effettiva viene mostrata nell’output di avvio e dipende dal modello e dalla build. Sostituisci il percorso di esempio con quello del tuo modello GGUF.
Per un confronto equo, mantieni invariati il file del modello, la quantizzazione, il prompt, la lunghezza del contesto e le impostazioni di generazione. Registra separatamente la velocità di elaborazione del prompt e quella di generazione: misurano fasi diverse del carico di inferenza.
Passaggio 4: comprendere il ruolo dell’NPU
L’AMD Ryzen™ AI Max+ PRO 495 include un’NPU dedicata con prestazioni fino a 55 TOPS. Questa specifica è distinta dalla capacità di calcolo totale del processore per l’IA. L’accelerazione tramite NPU richiede software compatibile e operazioni supportate; la normale inferenza LLM con Ollama o llama.cpp non viene trasferita automaticamente all’NPU.
L’NPU può affiancare il carico di inferenza principale nelle applicazioni supportate, ad esempio per l’elaborazione locale del parlato o altre attività di IA compatibili. Per una configurazione affidabile, verifica il supporto software per il carico di lavoro specifico, senza presumere che tutte le applicazioni di IA usino automaticamente l’NPU.
4. Come puoi scalare l’MS-S1 MAX-P495 per modelli da 300B+ e 671B di parametri?
Per i modelli con centinaia di miliardi di parametri, l’inferenza multi-nodo può distribuire il lavoro del modello su più sistemi. Un modello da 671B memorizzato a quattro bit per parametro, in condizioni ideali, corrisponde a circa 335,5 GB di dati dei pesi grezzi, prima di considerare metadati, cache e sovraccarico di runtime. Distribuire il carico di lavoro su più sistemi può aumentare la capacità di memoria.
MS-S1 MAX-P495 include una doppia connessione di rete a 10GbE e la connettività USB4 V2. È possibile usare software di inferenza multi-nodo, incluse le funzionalità distribuite disponibili in llama.cpp, per realizzare una configurazione AI locale più ampia. La disposizione esatta del modello e le prestazioni dipendono dal framework di inferenza, dalla configurazione di rete e dal formato del modello.
Pianifica e misura il cluster
Prima di passare a un modello da 300B+, definisci il carico di lavoro previsto ed esegui benchmark con un modello più piccolo sui nodi pianificati. Misura:
· Il tempo di caricamento del modello e l’uso massimo della memoria su ciascun nodo.
· La velocità di elaborazione dei prompt e di generazione dei token.
· L’utilizzo della rete e la latenza di comunicazione.
· La latenza di risposta con il numero previsto di richieste simultanee.
Queste misurazioni aiutano a individuare se a limitare le prestazioni sono la capacità di memoria, la potenza di calcolo o la comunicazione tra i nodi. Inoltre, forniscono una base riproducibile per scalare la configurazione e supportare un modello più grande.
5. Domande frequenti
1. La larghezza di banda della memoria influisce sulla velocità di generazione dei token degli LLM in locale?
Sì. Durante la generazione dei token, il sistema accede ripetutamente ai pesi del modello, quindi la larghezza di banda della memoria può influire notevolmente sui carichi di lavoro limitati dalla memoria. La larghezza di banda della memoria del P495, pari a circa 273GB/s, è una specifica hardware importante, anche se la velocità effettiva di generazione dei token dipende anche dalla quantizzazione, dall’architettura del modello, dalla lunghezza del contesto e dal software di inferenza.
2. Come si confrontano i consumi del P495 con quelli di un server con più GPU?
Il P495 è un sistema compatto progettato per eseguire carichi di lavoro di IA in locale senza l’ingombro di una workstation di grandi dimensioni con più GPU. Per questa configurazione, MINISFORUM indica una potenza di 120W con carico sostenuto e una potenza di picco di 160W. Il consumo effettivo alla presa varia in base al carico di lavoro e alle impostazioni del sistema, quindi confronta misurazioni rilevate in condizioni equivalenti.
3. Posso espandere il P495 con una GPU dedicata o ulteriore spazio di archiviazione SSD?
Il P495 non è pubblicizzato come compatibile con l’espansione tramite GPU dedicata. Per l’espansione dello spazio di archiviazione, il sistema dispone di slot SSD M.2; verifica le specifiche ufficiali del prodotto per conoscere la configurazione degli slot supportata e la compatibilità delle unità. Scegliere un SSD veloce e sufficientemente capiente è utile per archiviare più file di modelli di grandi dimensioni.
4. Il P495 può eseguire un modello da 122B con una finestra di contesto di 131K?
Sì. È stato dimostrato che il P495 esegue un modello da 122B con una finestra di contesto di 131K token. È un esempio utile di come i 192GB di memoria unificata del sistema possano supportare carichi di lavoro con modelli di grandi dimensioni e contesti estesi. Le prestazioni effettive variano in base al modello specifico, alla quantizzazione, al motore di inferenza e alla configurazione di test.
5. Il P495 può eseguire DeepSeek e altri grandi modelli MoE?
Sì. Nei test riportati, DeepSeek-V4-Flash-0731-UD-Q4_K_XL ha raggiunto 12.35 tok/s, mentre Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL ha raggiunto 26.48 tok/s. Questi valori mostrano che architetture e implementazioni diverse possono produrre velocità di generazione differenti sulla stessa workstation. Per confronti riproducibili, pubblica il contesto del test, la versione del software e il metodo di misurazione insieme al risultato in tok/s.
Crea il tuo flusso di lavoro AI locale con MINISFORUM MS-S1 MAX-P495
L'esecuzione locale di un modello linguistico di grandi dimensioni combina pianificazione della memoria, scelta del software e test ripetibili. MINISFORUM MS-S1 MAX-P495 integra un processore AMD Ryzen™ AI Max+ PRO 495, 192GB di memoria unificata e fino a 160GB di VRAM allocabile in una workstation compatta, progettata per carichi di lavoro AI locali impegnativi.
Per iniziare, configura la memoria UMA nel BIOS, quindi installa un motore di inferenza sul sistema Windows 11 preinstallato. Scegli un modello quantizzato adatto al tuo carico di lavoro, imposta una lunghezza del contesto appropriata e registra la velocità di generazione in condizioni ripetibili. Dai modelli da 70B ai carichi di lavoro MoE da 284B testati, questo approccio passo dopo passo aiuta a trasformare la capacità di memoria in un flusso di lavoro AI locale concreto.
Vuoi iniziare? Visita la pagina ufficiale del prodotto MINISFORUM MS-S1 MAX-P495 per consultare le specifiche e i dettagli della configurazione della tua workstation AI locale.