So betreiben Sie lokale 70B- und 120B-LLMs auf dem MINISFORUM MS-S1 MAX-P495
Kannst du ein großes Sprachmodell mit 70B oder 120B Parametern lokal ausführen, ohne eine Workstation mit mehreren teuren Grafikkarten zusammenzustellen? Der MINISFORUM MS-S1 MAX-P495 soll genau diese Art lokaler KI-Anwendung zugänglicher machen. Mit einem Prozessor AMD Ryzen™ AI Max+ PRO 495, 192 GB einheitlichem LPDDR5X-8533-Speicher und bis zu 160 GB zuweisbarem VRAM bietet er Entwicklern ausreichend Spielraum, um große quantisierte Modelle auf einer kompakten Workstation auszuführen.
Die praktischen Schritte sind ebenso wichtig wie die technischen Daten. Diese Anleitung erklärt, wie du den Speicherbedarf planst, den gemeinsam genutzten Grafikspeicher im BIOS zuweist und mit lokaler Inferenz auf dem mit dem P495 gelieferten Windows-11-System loslegst.
1. Kann der MINISFORUM MS-S1 MAX-P495 Sprachmodelle mit 70B und 120B Parametern lokal ausführen?
Ja. Der MINISFORUM MS-S1 MAX-P495 kann geeignete quantisierte Sprachmodelle der Größenklassen 70B und 120B lokal ausführen. Sein einheitlicher Speicher von 192 GB und bis zu 160 GB zuweisbarer VRAM bieten reichlich Platz für Modellgewichte, KV-Cache und Inferenzpuffer. Die tatsächliche Leistung hängt vom Modell, der Quantisierung, der Kontextlänge und der Inferenzsoftware ab.
Berechne den Speicherbedarf, bevor du ein Modell herunterlädst
Beginne mit einer einfachen Schätzung für die Modellgewichte:
Ungefährer Speicherbedarf der Gewichte = Anzahl der Parameter × Bits pro Parameter ÷ 8
Bei idealisierten vier Bits pro Parameter benötigt ein Modell mit 70 Milliarden Parametern allein für seine Gewichte etwa 35 GB. Ein 120B-Modell benötigt bei derselben nominellen Genauigkeit etwa 60 GB. Tatsächliche Modelldateien unterscheiden sich, da Quantisierungsformate Metadaten und Skalierungswerte enthalten und manchmal Tensoren mit höherer Genauigkeit verwenden.
Plane zusätzlichen Speicher ein für:
· den KV-Cache, in dem Aufmerksamkeitsdaten für das aktive Kontextfenster gespeichert werden.
· Inferenzpuffer und temporäre Tensoren, die während der Generierung verwendet werden.
· Windows 11, Hintergrundanwendungen und andere Systemprozesse.
· Längere Prompts oder mehrere gleichzeitige Anfragen, die den Speicherbedarf erhöhen können.
Dass eine Modelldatei in den verfügbaren Speicher passt, ist nur der erste Schritt der Berechnung. Kontextlänge und Laufzeit-Overhead müssen ebenfalls berücksichtigt werden.
Vergleiche den verfügbaren Speicherspielraum verschiedener Workstations
Diese Tabelle vergleicht die ungefähre Kapazität und die wahrscheinliche Eignung für verschiedene Modelle. Q4 und Q8 bezeichnen gängige Quantisierungsstufen; die genauen Dateigrößen und der Speicherbedarf zur Laufzeit hängen vom Modell und der Implementierung ab.
|
Workstation-Konfiguration |
Zuweisbarer / physischer Speicher |
70B Q4 |
70B Q8 |
120 Mrd. Q4 |
|
Bis zu 96 GB zuweisbarer VRAM |
Im Allgemeinen machbar |
Häufig machbar |
Modell- und kontextabhängig |
|
|
MS-S1 MAX-P495 (192 GB Arbeitsspeicher) |
Bis zu 160 GB zuweisbarer VRAM |
Im Allgemeinen machbar |
Im Allgemeinen machbar |
Im Allgemeinen machbar |
Eine Workstation mit zwei GPUs verhält sich nicht automatisch wie eine einzelne GPU mit 48 GB. Die Verteilung der Modelle und die Unterstützung mehrerer GPUs hängen von der Inferenz-Engine und der Systemkonfiguration ab. Der Vorteil des P495 ist sein großer gemeinsamer Speicherpool, der einem einzelnen System mehr Spielraum für große quantisierte Modellgewichte und Workloads mit langem Kontext bietet.
Wie sieht es mit MoE-Modellen mit 284B Parametern aus?
Mixture-of-Experts- (MoE-)Modelle aktivieren für jedes Token nur einen Teil ihrer Parameter. Dadurch können sie im Vergleich zu einem ähnlich großen dichten Modell weniger Rechenleistung benötigen. Die Gewichte des gesamten Modells müssen für das Inferenzsystem dennoch verfügbar sein.
Der MINISFORUM MS-S1 MAX-P495 wurde außerdem mit DeepSeek V4 Flash 284B in Q4-Quantisierung getestet. Dabei benötigte das Modell etwa 144 GB Speicher und erreichte eine gemessene Generierungsgeschwindigkeit von 12,35 Tokens pro Sekunde (Tok/s). Das ist ein praktisches Beispiel dafür, wie Quantisierung und gemeinsamer Speicher ein sehr großes MoE-Modell auf einer einzelnen kompakten Workstation nutzbar machen können.
Benchmarks sollten stets im Zusammenhang mit dem genauen Modell-Build, der Quantisierung, der Kontextlänge, der Inferenz-Engine und der Messmethode betrachtet werden. Anhand dieser Angaben können Leser die Ergebnisse reproduzieren und Vergleichbares mit Vergleichbarem vergleichen.
Eine hilfreiche Frage vor der Wahl eines Modells: Benötigen Sie die größtmögliche Parameterzahl oder ein bestimmtes Gleichgewicht zwischen Schlussfolgerungsqualität, Kontextlänge und Antwortgeschwindigkeit? Das beste Modell für einen Workflow ist dasjenige, das dessen Anforderungen erfüllt – nicht unbedingt das mit der größten Zahl in der Überschrift.
2. Wie weist du dem MINISFORUM MS-S1 MAX-P495 160 GB VRAM zu?
Der MS-S1 MAX-P495 verwendet eine Unified-Memory-Architektur (UMA). CPU und integrierte Radeon-Grafik teilen sich den Arbeitsspeicher des Systems, und bis zu 160 GB können als Grafikspeicher zugewiesen werden. Für die lokale LLM-Inferenz ist die Speichereinstellung im BIOS ein wichtiger Teil der Systemvorbereitung.
Schritt 1: UMA-Speicherzuweisung im BIOS festlegen
Verwende bei AMD-basierten MINISFORUM-Modellen wie dem P495 folgenden Pfad:
1. Starte die Workstation neu und drücke die Entf-Taste, um das BIOS-Setup aufzurufen.
2. Öffne Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration.
3. Wähle iGPU Configuration und stelle die Option auf UMA Specified.
4. Lege unter UMA Frame Buffer Size die für deine Arbeitslast erforderliche Kapazität fest, zum Beispiel 160 GB.
5. Speichere die Änderungen und starte das System neu.
Prüfe nach dem Start von Windows, ob deine Grafik- und Inferenzsoftware auf die erwartete Speicherzuweisung zugreifen kann. Lass bei einem 70B- oder 120B-Modell genügend Spielraum für das Betriebssystem, Laufzeitpuffer und den KV-Cache. Wähle die Zuweisung passend zu dem Modell und dem Kontext, die du ausführen möchtest.
Schritt 2: Windows-11-Umgebung überprüfen
Der P495 wird mit Windows 11 ausgeliefert. Du kannst also direkt loslegen, ohne das Betriebssystem zu ersetzen oder Linux-Kernel-Einstellungen zu ändern. Bevor du eine Inferenz-Engine installierst:
· Installiere die verfügbaren Windows-Updates und den unterstützten AMD-Grafiktreiber für das System.
· Sorge dafür, dass auf der SSD genügend Speicherplatz für Modelldownloads frei ist. Große Modelle können mehrere Dutzend oder sogar mehr als hundert Gigabyte belegen.
· Schließe vor dem Laden eines großen Modells unnötige Anwendungen, die viel Speicher beanspruchen.
· Starte das System nach Änderungen der BIOS-Einstellungen neu, öffne dann die Inferenzsoftware und prüfe, ob das GPU-Backend verfügbar ist.
Für diese Anleitung wird Ollama unter Windows als erster Schritt empfohlen. Wer die Abläufe direkter steuern möchte, kann auch eine mit Windows kompatible Version von llama.cpp verwenden.
3. Was ist die beste Inferenz-Engine für AMD Ryzen AI Max+ PRO 495: Ollama oder llama.cpp?
Für einen Desktop-Workflow unter Windows 11 ist Ollama eine unkomplizierte Möglichkeit, unterstützte Modelle herunterzuladen und auszuführen. llama.cpp ist eine gute Alternative für Nutzer, die mehr Kontrolle über GGUF-Modelldateien, das Auslagern von GPU-Layern und Befehlszeilenparameter wünschen. Die richtige Wahl hängt vom Modellformat und dem vom installierten Build unterstützten Backend ab.
|
Motor |
Beste Passform |
Warum es wählen |
|
Schnelle lokale Einrichtung und Modellverwaltung |
Einfache Modellbefehle und eine lokale API |
|
|
llama.cpp für Windows |
GGUF-Modelle und detaillierte Optimierung der Inferenz |
Direkte Kontrolle über den Kontext, GPU-Auslagerung und Laufzeitoptionen |
Schritt 1: Ollama installieren und ein 70B- oder 120B-Modell ausführen
Installieren Sie die Windows-Version von Ollama von der offiziellen Website. Öffnen Sie nach der Installation PowerShell oder Windows Terminal und führen Sie einen Modellbefehl für ein in der Ollama-Bibliothek verfügbares Modell aus.
ollama run llama3.3:70b
Für ein größeres Modell startet das folgende Beispiel das gpt-oss-Modell der 120B-Klasse, sofern der entsprechende Eintrag in der Bibliothek verfügbar ist:
ollama run gpt-oss:120b
Beim ersten Start wird das Modell heruntergeladen. Warten Sie daher, bis der Download abgeschlossen ist. Prüfen Sie vorher den verfügbaren Speicherplatz. Modell-Tags und Quantisierungsoptionen können sich ändern. Prüfen Sie daher vor einem großen Download den aktuellen Eintrag in der Bibliothek.
Schritt 2: Die Kontextlänge mit einer Modelfile festlegen
Ollama unterstützt den Parameter num_ctx in einer Modelfile. Das folgende Beispiel erstellt eine lokale Konfiguration mit einem Kontext von 8.192 Tokens. Passen Sie den Wert an das Modell und die gewünschte Arbeitslast an.
FROM gpt-oss:120b
PARAMETER num_ctx 8192
Speichern Sie diesen Text in einem Arbeitsordner in einer Datei namens Modelfile. Führen Sie dann die folgenden Befehle in diesem Ordner aus:
ollama create gpt-oss-120b-local -f Modelfile
ollama run gpt-oss-120b-local
Ein längerer Kontext kann die Textmenge erhöhen, die das Modell gleichzeitig berücksichtigen kann, steigert aber auch den Speicherbedarf des KV Cache. Beginnen Sie mit einer für Ihre Aufgabe geeigneten Kontextlänge und passen Sie sie dann für längere Dokumente oder ausführliche Gespräche an.
Schritt 3: llama.cpp für direkte Kontrolle verwenden
Wenn Sie GGUF-Dateien und eine direktere Kontrolle über die Laufzeit bevorzugen, installieren Sie einen mit Windows kompatiblen llama.cpp-Build mit einem unterstützten GPU-Backend. Laden Sie Builds aus den offiziellen Releases des Projekts herunter und folgen Sie den Anweisungen für den jeweiligen Build.
Ein typisches Befehlszeilenmuster für ein kompatibles GGUF-Modell ist:
llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Erkläre, wie die lokale LLM-Inferenz funktioniert."
Die Option -ngl 999 fordert dazu auf, möglichst viele Modell-Layer auszulagern, die das Backend auf der GPU platzieren kann. Die tatsächliche Platzierung wird in der Startausgabe angezeigt und hängt vom Modell und Build ab. Ersetzen Sie den Beispiel-Dateipfad durch den Speicherort Ihrer eigenen GGUF-Modelldatei.
Sorgen Sie für einen fairen Vergleich dafür, dass Modelldatei, Quantisierung, Prompt, Kontextlänge und Generierungseinstellungen gleich bleiben. Erfassen Sie die Geschwindigkeit der Prompt-Verarbeitung und die Generierungsgeschwindigkeit getrennt, da sie unterschiedliche Teile der Inferenzlast messen.
Schritt 4: Die Rolle der NPU verstehen
Der AMD Ryzen™ AI Max+ PRO 495 verfügt über eine dedizierte NPU mit einer Leistung von bis zu 55 TOPS. Dies ist eine separate Angabe zur gesamten KI-Rechenleistung des Prozessors. Die NPU-Beschleunigung erfordert kompatible Software und unterstützte Vorgänge; gewöhnliche LLM-Inferenz mit Ollama oder llama.cpp wird nicht automatisch auf die NPU verlagert.
Die NPU kann bei unterstützten Anwendungen die Hauptinferenzlast ergänzen, etwa bei der lokalen Sprachverarbeitung oder anderen kompatiblen KI-Aufgaben. Prüfen Sie für eine zuverlässige Einrichtung die Softwareunterstützung für die jeweilige Arbeitslast, statt davon auszugehen, dass jede KI-Anwendung automatisch die NPU nutzt.
4. Wie lässt sich der MS-S1 MAX-P495 für 300B+- und 671B-Parameter-Modelle skalieren?
Bei Modellen mit Hunderten Milliarden Parametern kann die Inferenz über mehrere Knoten verteilt werden, sodass die Arbeit auf mehrere Systeme aufgeteilt wird. Ein 671B-Modell umfasst bei einer idealisierten Speicherung mit vier Bit pro Parameter etwa 335,5 GB reine Gewichtsdaten, noch ohne Metadaten, Cache und Laufzeit-Overhead. Durch die Verteilung der Arbeitslast auf mehrere Systeme kann zusätzlicher Speicherplatz bereitgestellt werden.
Der MS-S1 MAX-P495 verfügt über zwei 10-GbE-Netzwerkanschlüsse und USB4-V2-Konnektivität. Mit Multi-Node-Inferenzsoftware, einschließlich der verteilten Funktionen von llama.cpp, lässt sich ein größeres lokales KI-Setup aufbauen. Die genaue Modellverteilung und Leistung hängen vom Inferenz-Framework, der Netzwerkkonfiguration und dem Modellformat ab.
Den Cluster planen und messen
Bevor Sie auf ein 300B+-Modell erweitern, legen Sie die vorgesehene Arbeitslast fest und vergleichen Sie die Leistung eines kleineren Modells auf den geplanten Knoten. Messen Sie:
· Ladezeit des Modells und Spitzen-Speicherbedarf auf jedem Knoten.
· Durchsatz bei der Prompt-Verarbeitung und Geschwindigkeit der Token-Generierung.
· Netzwerkauslastung und Kommunikationslatenz.
· Antwortlatenz bei der erwarteten Anzahl gleichzeitiger Anfragen.
Diese Messungen zeigen, ob die Speicherkapazität, die Rechenleistung oder die Kommunikation zwischen den Knoten die Leistung begrenzt. Sie bieten außerdem eine reproduzierbare Grundlage, um das Setup auf ein größeres Modell zu skalieren.
5. Häufig gestellte Fragen
1. Beeinflusst die Speicherbandbreite die Token-Geschwindigkeit lokaler LLMs?
Ja. Während der Token-Generierung greift das System wiederholt auf die Modellgewichte zu, sodass die Speicherbandbreite Workloads mit Speicherengpässen stark beeinflussen kann. Die Speicherbandbreite der P495 von etwa 273 GB/s ist eine wichtige Hardwareangabe. Die tatsächliche Token-Geschwindigkeit hängt jedoch auch von der Quantisierung, der Modellarchitektur, der Kontextlänge und der Inferenzsoftware ab.
2. Wie unterscheidet sich der Stromverbrauch der P495 von dem eines Multi-GPU-Servers?
Die P495 ist ein kompaktes System, das für lokale KI-Workloads ohne den Platzbedarf einer großen Multi-GPU-Workstation konzipiert wurde. MINISFORUM gibt für diese Konfiguration eine Dauerlastleistung von 120 W und eine Spitzenleistung von 160 W an. Die tatsächliche Leistungsaufnahme an der Steckdose hängt von der Arbeitslast und den Systemeinstellungen ab. Vergleichen Sie daher Messungen, die unter gleichwertigen Bedingungen vorgenommen wurden.
3. Kann ich die P495 um eine diskrete GPU oder zusätzlichen SSD-Speicher erweitern?
Die P495 wird nicht als System mit Unterstützung für diskrete GPU-Erweiterungen vermarktet. Zur Speichererweiterung verfügt das System über M.2-SSD-Steckplätze. Die unterstützte Steckplatzkonfiguration und die Laufwerkskompatibilität finden Sie in den offiziellen Produktspezifikationen. Eine schnelle SSD mit ausreichend Speicherplatz ist nützlich, wenn mehrere große Modelldateien gespeichert werden sollen.
4. Kann die P495 ein 122B-Modell mit einem Kontextfenster von 131K ausführen?
Ja. Die P495 wurde bereits mit einem 122B-Modell und einem Kontextfenster von 131K Tokens vorgeführt. Das ist ein nützliches Beispiel dafür, wie der gemeinsame 192-GB-Speicher des Systems Workloads mit großen Modellen und erweitertem Kontext unterstützen kann. Die tatsächliche Leistung hängt vom jeweiligen Modell, der Quantisierung, der Inferenz-Engine und der Testkonfiguration ab.
5. Kann der P495 DeepSeek und andere große MoE-Modelle ausführen?
Ja. In den berichteten Tests erreichte DeepSeek-V4-Flash-0731-UD-Q4_K_XL 12,35 Tok/s, während Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL 26,48 Tok/s erreichte. Diese Werte veranschaulichen, dass unterschiedliche Modellarchitekturen und Implementierungen auf derselben Workstation zu unterschiedlichen Generierungsgeschwindigkeiten führen können. Veröffentlichen Sie für reproduzierbare Vergleiche neben dem Ergebnis in Tok/s auch den Testkontext, die Softwareversion und die Messmethode.
Erstellen Sie Ihren lokalen KI-Workflow mit dem MINISFORUM MS-S1 MAX-P495
Ein großes Sprachmodell lokal auszuführen, erfordert eine Kombination aus Speicherplanung, Softwareauswahl und reproduzierbaren Tests. Der MINISFORUM MS-S1 MAX-P495 bietet einen AMD Ryzen™ AI Max+ PRO 495-Prozessor, 192 GB gemeinsam genutzten Speicher und bis zu 160 GB zuweisbaren VRAM in einer kompakten Workstation für anspruchsvolle lokale KI-Arbeitslasten.
Richten Sie zunächst den UMA-Speicher im BIOS ein und installieren Sie dann eine Inferenz-Engine auf dem vorinstallierten Windows 11-System. Wählen Sie ein quantisiertes Modell, das zu Ihrer Arbeitslast passt, legen Sie eine geeignete Kontextlänge fest und erfassen Sie die Generierungsgeschwindigkeit unter reproduzierbaren Bedingungen. Von 70B-Modellen bis hin zu getesteten 284B-MoE-Arbeitslasten hilft dieser schrittweise Ansatz dabei, Speicherkapazität in einen praktischen lokalen KI-Workflow umzusetzen.
Bereit loszulegen? Besuchen Sie die offizielle Produktseite des MINISFORUM MS-S1 MAX-P495 , um die technischen Daten und Konfigurationsdetails für Ihre lokale KI-Workstation anzusehen.