Zo draai je lokale LLM's van 70B en 120B op de MINISFORUM MS-S1 MAX-P495
Kun je lokaal een groot taalmodel van 70B of 120B uitvoeren zonder een werkstation met meerdere dure grafische kaarten te bouwen? De MINISFORUM MS-S1 MAX-P495 is ontworpen om dit soort lokale AI-workflows toegankelijker te maken. Met een AMD Ryzen™ AI Max+ PRO 495-processor, 192 GB LPDDR5X-8533-geheugen en maximaal 160 GB toewijsbaar VRAM biedt hij ontwikkelaars de ruimte om grote gekwantiseerde modellen uit te voeren op een compact werkstation.
De praktische stappen zijn net zo belangrijk als de specificaties. In deze handleiding lees je hoe je het geheugen plant, gedeeld grafisch geheugen toewijst in het BIOS en aan de slag gaat met lokale inferentie op het Windows 11-systeem dat bij de P495 wordt geleverd.
1. Kan de MINISFORUM MS-S1 MAX-P495 lokaal taalmodellen met 70B en 120B parameters uitvoeren?
Ja. De MINISFORUM MS-S1 MAX-P495 kan geschikte gekwantiseerde taalmodellen in de klasse van 70B en 120B lokaal uitvoeren. Het gedeelde geheugen van 192 GB en maximaal 160 GB toewijsbaar VRAM bieden volop ruimte voor modelgewichten, KV-cache en inferentiebuffers. De prestaties in de praktijk zijn afhankelijk van het model, de kwantisering, de contextlengte en de inferentiesoftware.
Bereken de geheugenvereisten voordat je een model downloadt
Begin met een eenvoudige schatting van het geheugen dat de modelgewichten nodig hebben:
Geschat geheugen voor gewichten = aantal parameters × bits per parameter ÷ 8
Bij een theoretische precisie van vier bits per parameter heeft een model met 70 miljard parameters ongeveer 35 GB nodig voor alleen de gewichten. Een 120B-model heeft bij dezelfde nominale precisie ongeveer 60 GB nodig. De werkelijke modelbestanden verschillen, omdat kwantiseringsindelingen metadata, schalen en soms tensors met een hogere precisie bevatten.
Reserveer extra geheugen voor:
· KV-cache, waarin aandachtsgegevens voor het actieve contextvenster worden opgeslagen.
· Inferentiebuffers en tijdelijke tensors die tijdens het genereren worden gebruikt.
· Windows 11, achtergrondtoepassingen en andere systeemprocessen.
· Langere prompts of meerdere gelijktijdige verzoeken, die het geheugengebruik kunnen verhogen.
Dat een modelbestand in het beschikbare geheugen past, is slechts een beginpunt; je moet ook rekening houden met de contextlengte en de overhead van de runtime.
Vergelijk de beschikbare geheugenruimte van verschillende werkstations
Deze tabel vergelijkt de geschatte geheugencapaciteit en de modellen die er waarschijnlijk op passen. Q4 en Q8 verwijzen naar gangbare kwantiseringsniveaus; de exacte bestandsgrootte en het geheugengebruik tijdens uitvoering zijn afhankelijk van het model en de implementatie.
|
Werkstationconfiguratie |
Toewijsbaar / fysiek geheugen |
70B Q4 |
70B Q8 |
120B Q4 |
|
Tot 96 GB toewijsbaar VRAM |
Over het algemeen haalbaar |
Vaak haalbaar |
Afhankelijk van het model en de context |
|
|
MS-S1 MAX-P495 (192GB geheugen) |
Tot 160 GB toewijsbaar VRAM |
Over het algemeen haalbaar |
Over het algemeen haalbaar |
Over het algemeen haalbaar |
Een workstation met twee GPU’s gedraagt zich niet automatisch als één GPU van 48 GB. De plaatsing van modellen en ondersteuning voor meerdere GPU’s zijn afhankelijk van de inferentie-engine en de systeemconfiguratie. Het voordeel van de P495 is de grote gedeelde geheugenpool, die één systeem meer ruimte biedt voor grote gekwantiseerde modelgewichten en workloads met een lange context.
Hoe zit het met MoE-modellen van 284B?
Mixture-of-Experts-modellen (MoE) activeren voor elk token slechts een deel van hun parameters, waardoor de berekeningen kunnen afnemen ten opzichte van een vergelijkbaar groot dicht model. De volledige modelgewichten moeten nog steeds beschikbaar zijn voor het inferentiesysteem.
De MINISFORUM MS-S1 MAX-P495 is ook getest met DeepSeek V4 Flash 284B in Q4-kwantisatie. Daarbij werd ongeveer 144 GB aan modelgeheugen gebruikt en werd een gemeten generatiesnelheid van 12,35 tokens per seconde (tok/s) behaald. Dit is een praktisch voorbeeld van hoe kwantisatie en gedeeld geheugen een zeer groot MoE-model bruikbaar kunnen maken op één compacte workstation.
Benchmarks moeten altijd worden beoordeeld in samenhang met de exacte modelversie, kwantisatie, contextlengte, inferentie-engine en meetmethode. Dankzij deze gegevens kunnen lezers resultaten reproduceren en gelijkwaardige zaken met elkaar vergelijken.
Een nuttige vraag voordat je een model kiest: heb je het grootst mogelijke aantal parameters nodig, of zoek je een specifieke balans tussen redeneervermogen, contextlengte en reactiesnelheid? Het beste model voor een workflow is het model dat aan de vereisten voldoet, niet per se het model met het grootste getal in de kop.
2. Hoe wijs je 160 GB VRAM toe op de MINISFORUM MS-S1 MAX-P495?
De MS-S1 MAX-P495 maakt gebruik van een unified memory architecture (UMA). De CPU en de geïntegreerde Radeon-graphics delen het systeemgeheugen, waarvan maximaal 160 GB kan worden toegewezen als grafisch geheugen. Voor lokale LLM-inferentie is de geheugeninstelling in het BIOS een belangrijk onderdeel van de systeemvoorbereiding.
Stap 1: Stel de UMA-geheugentoewijzing in het BIOS in
Volg deze stappen op AMD-gebaseerde MINISFORUM-modellen zoals de P495:
1. Start het werkstation opnieuw op en druk op Delete om de BIOS-instellingen te openen.
2. Ga naar Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration.
3. Selecteer iGPU Configuration en stel deze in op UMA Specified.
4. Stel UMA Frame Buffer Size in op de capaciteit die je werklast vereist, bijvoorbeeld 160 GB.
5. Sla de wijzigingen op en start het systeem opnieuw op.
Controleer nadat Windows is gestart of je grafische software en inferentiesoftware toegang hebben tot de verwachte hoeveelheid toegewezen geheugen. Laat bij een model van 70B of 120B voldoende ruimte over voor het besturingssysteem, runtimebuffers en de KV-cache. Kies de geheugentoewijzing op basis van het model en de context die je wilt gebruiken.
Stap 2: Controleer je Windows 11-omgeving
De P495 wordt geleverd met Windows 11, zodat je aan de slag kunt zonder het besturingssysteem te vervangen of Linux-kernelinstellingen te wijzigen. Voordat je een inferentie-engine installeert:
· Installeer de beschikbare Windows-updates en het ondersteunde AMD-grafische stuurprogramma voor het systeem.
· Zorg voor voldoende vrije ruimte op de SSD voor het downloaden van modellen; grote modellen kunnen tientallen of meer dan honderd gigabyte innemen.
· Sluit onnodige toepassingen die veel geheugen gebruiken voordat je een groot model laadt.
· Start de computer opnieuw op nadat je de BIOS-instellingen hebt gewijzigd, start vervolgens de inferentiesoftware en controleer of de GPU-backend beschikbaar is.
Voor deze handleiding is Ollama voor Windows de aanbevolen eerste stap. Gebruikers die meer directe controle willen, kunnen ook een Windows-compatibele build van llama.cpp gebruiken.
3. Wat is de beste inference-engine voor AMD Ryzen AI Max+ PRO 495: Ollama of llama.cpp?
Voor een desktopworkflow in Windows 11 is Ollama een eenvoudige manier om ondersteunde modellen te downloaden en uit te voeren. llama.cpp is een goed alternatief voor gebruikers die meer controle willen over GGUF-modelbestanden, het offloaden van lagen naar de GPU en opdrachtregelparameters. De juiste keuze hangt af van het modelindeling en de backend die door de geïnstalleerde build wordt ondersteund.
|
Motor |
Beste pasvorm |
Waarom kiezen |
|
Snelle lokale installatie en modelbeheer |
Eenvoudige modelcommando's en een lokale API |
|
|
llama.cpp voor Windows |
GGUF-modellen en gedetailleerde afstemming van inferentie |
Directe controle over de context, GPU-offloading en runtime-opties |
Stap 1: Installeer Ollama en voer een 70B- of 120B-model uit
Installeer de Windows-versie van Ollama via de officiële website. Open na de installatie PowerShell of Windows Terminal en voer een modelopdracht uit voor een model dat beschikbaar is in de Ollama-bibliotheek.
ollama run llama3.3:70b
Voor een groter model start het volgende voorbeeld het gpt-oss-model uit de 120B-klasse, als de bijbehorende vermelding in de bibliotheek beschikbaar is:
ollama run gpt-oss:120b
Bij de eerste start wordt het model gedownload, dus houd rekening met de benodigde downloadtijd. Controleer vooraf of er voldoende schijfruimte beschikbaar is. Modeltags en kwantiseringsopties kunnen veranderen, dus controleer de actuele vermelding in de bibliotheek voordat je een grote download start.
Stap 2: Stel de contextlengte in met een Modelfile
Ollama ondersteunt de parameter num_ctx in een Modelfile. Met het onderstaande voorbeeld maak je een lokale configuratie met een context van 8.192 tokens. Pas de waarde aan het model en de taak aan die je wilt uitvoeren.
FROM gpt-oss:120b
PARAMETER num_ctx 8192
Sla deze tekst in een werkmap op in een bestand met de naam Modelfile. Voer vervolgens deze opdrachten in die map uit:
ollama create gpt-oss-120b-local -f Modelfile
ollama run gpt-oss-120b-local
Een langere context kan ervoor zorgen dat het model meer tekst tegelijk kan verwerken, maar verhoogt ook het geheugengebruik van de KV-cache. Begin met een context die geschikt is voor je taak en stem deze vervolgens af op langere documenten of uitgebreidere gesprekken.
Stap 3: Gebruik llama.cpp voor directe controle
Als je de voorkeur geeft aan GGUF-bestanden en directere controle over de runtime, installeer dan een Windows-compatibele build van llama.cpp met een ondersteunde GPU-backend. Download builds via de officiële releases van het project en volg de instructies voor de specifieke build die je kiest.
Een gebruikelijk opdrachtregelpatroon voor een compatibel GGUF-model is:
llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Leg uit hoe lokale LLM-inferentie werkt."
Met de optie -ngl 999 wordt gevraagd om zoveel mogelijk modellagen naar de GPU te verplaatsen als de backend aankan. De daadwerkelijke plaatsing wordt weergegeven in de opstartuitvoer en is afhankelijk van het model en de build. Vervang het voorbeeldbestandspad door de locatie van je eigen GGUF-model.
Houd voor een eerlijke vergelijking het modelbestand, de kwantisering, de prompt, de contextlengte en de generatie-instellingen gelijk. Noteer de snelheid van de promptverwerking en de generatiesnelheid afzonderlijk; ze meten verschillende onderdelen van de inferentietaak.
Stap 4: Begrijp de rol van de NPU
De AMD Ryzen™ AI Max+ PRO 495 heeft een speciale NPU met een vermogen tot 55 TOPS. Dit is een aparte specificatie, los van de totale AI-rekencapaciteit van de processor. NPU-versnelling vereist compatibele software en ondersteunde bewerkingen; gewone LLM-inferentie met Ollama of llama.cpp wordt niet automatisch naar de NPU verplaatst.
De NPU kan de belangrijkste inferentietaak aanvullen in ondersteunde toepassingen, zoals lokale spraakverwerking of andere compatibele AI-taken. Controleer voor een betrouwbare configuratie of de software de specifieke taak ondersteunt, in plaats van ervan uit te gaan dat elke AI-toepassing de NPU automatisch gebruikt.
4. Hoe kunt u de MS-S1 MAX-P495 schalen voor modellen met 300B+ en 671B parameters?
Voor modellen met honderden miljarden parameters kan inferentie op meerdere nodes het modelwerk over verschillende systemen verdelen. Een model van 671B dat is opgeslagen met idealiter vier bits per parameter, vertegenwoordigt ongeveer 335,5 GB aan ruwe gewichtsgegevens, exclusief metadata, cache en runtime-overhead. Door de workload over meerdere systemen te verdelen, kan extra geheugencapaciteit beschikbaar komen.
De MS-S1 MAX-P495 is voorzien van dual 10GbE-netwerken en USB4 V2-connectiviteit. Software voor inferentie op meerdere nodes, waaronder de gedistribueerde functies in llama.cpp, kan worden gebruikt om een grotere lokale AI-opstelling te bouwen. De exacte modelverdeling en prestaties zijn afhankelijk van het inferentieframework, de netwerkconfiguratie en de modelformaat.
Plan en meet het cluster
Definieer voordat u uitbreidt naar een model van 300B+ de beoogde workload en benchmark een kleiner model op de geplande nodes. Meet:
· De laadtijd van het model en het piekgeheugengebruik op elke node.
· De doorvoer van promptverwerking en de snelheid waarmee tokens worden gegenereerd.
· Het netwerkgebruik en de communicatievertraging.
· De responstijd bij het verwachte aantal gelijktijdige aanvragen.
Deze metingen helpen vaststellen of geheugencapaciteit, rekenkracht of communicatie tussen nodes de prestaties beperkt. Ze bieden ook een reproduceerbare basis om de opstelling op te schalen naar een groter model.
5. Veelgestelde vragen
1. Heeft de geheugenbandbreedte invloed op de tokensnelheid van lokale LLM's?
Ja. Tijdens het genereren van tokens leest het systeem herhaaldelijk de modelgewichten uit, waardoor de geheugenbandbreedte een grote invloed kan hebben op geheugenintensieve workloads. De geheugenbandbreedte van ongeveer 273 GB/s van de P495 is een belangrijke hardwarespecificatie, al hangt de werkelijke tokensnelheid ook af van de kwantisering, modelarchitectuur, contextlengte en inferentiesoftware.
2. Hoe verhoudt het stroomverbruik van de P495 zich tot dat van een server met meerdere GPU's?
De P495 is een compact systeem dat is ontworpen voor lokale AI-workloads, zonder de omvang van een groot werkstation met meerdere GPU's. MINISFORUM geeft voor deze configuratie een vermogen van 120 W bij langdurige belasting en een piekvermogen van 160 W op. Het werkelijke vermogen aan het stopcontact varieert per workload en systeeminstellingen. Vergelijk daarom metingen die onder gelijkwaardige omstandigheden zijn uitgevoerd.
3. Kan ik de P495 uitbreiden met een discrete GPU of extra SSD-opslag?
De P495 wordt niet aangeprezen als een systeem met ondersteuning voor uitbreiding met een discrete GPU. Voor opslaguitbreiding heeft het systeem M.2 SSD-slots; raadpleeg de officiële productspecificaties voor de ondersteunde slotconfiguratie en compatibele schijven. Een snelle SSD met voldoende capaciteit is handig voor het opslaan van meerdere grote modelbestanden.
4. Kan de P495 een 122B-model draaien met een contextvenster van 131K tokens?
Ja. Er is aangetoond dat de P495 een 122B-model kan draaien met een contextvenster van 131K tokens. Dit is een nuttig voorbeeld van hoe het unified geheugen van 192 GB van het systeem workloads met grote modellen en een uitgebreide context kan ondersteunen. De werkelijke prestaties variëren afhankelijk van het specifieke model, de kwantisering, de inferentie-engine en de testconfiguratie.
5. Kan de P495 DeepSeek en andere grote MoE-modellen uitvoeren?
Ja. In de gerapporteerde tests behaalde DeepSeek-V4-Flash-0731-UD-Q4_K_XL 12,35 tok/s, terwijl Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL 26,48 tok/s behaalde. Deze cijfers laten zien dat verschillende modelarchitecturen en implementaties op hetzelfde werkstation verschillende generatiesnelheden kunnen opleveren. Vermeld voor reproduceerbare vergelijkingen de testcontext, softwareversie en meetmethode naast het resultaat in tok/s.
Bouw je lokale AI-workflow met de MINISFORUM MS-S1 MAX-P495
Een groot taalmodel lokaal uitvoeren vereist een combinatie van geheugenplanning, softwarekeuze en herhaalbare tests. De MINISFORUM MS-S1 MAX-P495 combineert een AMD Ryzen™ AI Max+ PRO 495-processor, 192GB unified memory en maximaal 160GB toewijsbaar VRAM in een compact werkstation dat is gebouwd voor veeleisende lokale AI-workloads.
Configureer eerst het UMA-geheugen in het BIOS en installeer vervolgens een inference-engine op het vooraf geïnstalleerde Windows 11-systeem. Kies een gekwantiseerd model dat past bij je workload, stel een geschikte contextlengte in en noteer de generatiesnelheid onder herhaalbare omstandigheden. Van 70B-modellen tot geteste MoE-workloads van 284B: met deze stapsgewijze aanpak zet je geheugencapaciteit om in een praktische lokale AI-workflow.
Klaar om aan de slag te gaan? Ga naar de officiële productpagina van de MINISFORUM MS-S1 MAX-P495 voor de specificaties en configuratiegegevens van je lokale AI-werkstation.