Centre d’actualités

Est-il possible d’exécuter localement un grand modèle de langage de 70B ou 120B sans monter une station de travail autour de plusieurs cartes graphiques coûteuses ? Le MINISFORUM MS-S1 MAX-P495 est conçu pour rendre ce type de flux de travail d’IA locale plus accessible. Avec son processeur AMD Ryzen™ AI Max+ PRO 495, ses 192 Go de mémoire unifiée LPDDR5X-8533 et jusqu’à 160 Go de VRAM allouable, il offre aux développeurs la capacité nécessaire pour exécuter de grands modèles quantifiés sur une station de travail compacte.

Les étapes pratiques comptent autant que les caractéristiques techniques. Ce guide explique comment prévoir la mémoire, allouer la mémoire graphique partagée dans le BIOS et débuter avec l’inférence locale sur le système Windows 11 fourni avec le P495.

1. Le MINISFORUM MS-S1 MAX-P495 peut-il exécuter localement des LLM de 70B et 120B paramètres ?

Oui. Le MINISFORUM MS-S1 MAX-P495 peut exécuter localement des modèles de langage quantifiés adaptés de 70B et de la catégorie 120B. Ses 192 Go de mémoire unifiée et jusqu’à 160 Go de VRAM allouable offrent une capacité importante pour les poids du modèle, le cache KV et les tampons d’inférence. Les performances réelles dépendent du modèle, de la quantification, de la longueur du contexte et du logiciel d’inférence.

Calculez les besoins en mémoire avant de télécharger un modèle

Commencez par une estimation simple de la mémoire nécessaire aux poids du modèle :

Mémoire approximative des poids = nombre de paramètres × bits par paramètre ÷ 8

Avec une hypothèse idéale de quatre bits par paramètre, un modèle de 70 milliards de paramètres nécessite environ 35 Go pour ses seuls poids. Un modèle 120B avec la même précision nominale en nécessite environ 60 Go. La taille réelle des fichiers de modèles varie, car les formats de quantification comprennent des métadonnées, des échelles et parfois des tenseurs de précision supérieure.

Prévoyez de la mémoire supplémentaire pour :

· Le cache KV, qui stocke les données d’attention pour la fenêtre de contexte active.

· Les tampons d’inférence et les tenseurs temporaires utilisés pendant la génération.

· Windows 11, les applications en arrière-plan et les autres processus système.

· Les invites plus longues ou plusieurs requêtes simultanées, qui peuvent augmenter l’utilisation de la mémoire.

Le fait qu’un fichier de modèle tienne dans la mémoire disponible n’est qu’un point de départ, pas le seul élément à prendre en compte. Il faut également tenir compte de la longueur du contexte et de la surcharge liée à l’environnement d’exécution.

Comparez la marge mémoire de différentes stations de travail

Ce tableau compare la capacité approximative et les modèles susceptibles de tenir en mémoire. Q4 et Q8 désignent des niveaux de quantification courants ; la taille exacte des fichiers et l’utilisation de la mémoire à l’exécution dépendent du modèle et de sa mise en œuvre.

Configuration du poste de travail

Mémoire allouable / physique

70B Q4

70B Q8

120 milliards au 4e trimestre

MS-S1 MAX (128 Go de mémoire)

Jusqu’à 96 Go de VRAM allouable

Généralement faisable

Souvent réalisable

Dépend du modèle et du contexte

MS-S1 MAX-P495 (mémoire de 192 Go)

Jusqu’à 160 Go de VRAM allouable

Généralement faisable

Généralement faisable

Généralement faisable

Une station de travail dotée de deux GPU ne se comporte pas automatiquement comme un seul GPU de 48 Go. La répartition des modèles et la prise en charge de plusieurs GPU dépendent du moteur d’inférence et de la configuration du système. L’avantage du P495 réside dans son vaste pool de mémoire unifiée, qui offre à un système unique plus de capacité pour accueillir des poids de modèles quantifiés volumineux et traiter des contextes longs.

Qu’en est-il des modèles MoE de 284 milliards de paramètres ?

Les modèles à mélange d’experts (MoE) n’activent qu’une partie de leurs paramètres pour chaque jeton, ce qui peut réduire les calculs par rapport à un modèle dense de taille similaire. Les poids du modèle complet doivent toutefois rester accessibles au système d’inférence.

Le MINISFORUM MS-S1 MAX-P495 a également été testé avec DeepSeek V4 Flash 284B en quantification Q4, avec environ 144 Go de mémoire de modèle et une vitesse de génération mesurée de 12,35 jetons par seconde (tok/s). Cet exemple concret montre comment la quantification et la mémoire unifiée peuvent rendre utilisable un très grand modèle MoE sur une seule station de travail compacte.

Les résultats de benchmark doivent toujours être interprétés en tenant compte de la version exacte du modèle, de la quantification, de la longueur du contexte, du moteur d’inférence et de la méthode de mesure. Ces précisions permettent aux lecteurs de reproduire les résultats et de comparer des éléments comparables.

Une question utile à se poser avant de choisir un modèle : avez-vous besoin du plus grand nombre de paramètres possible, ou recherchez-vous un équilibre précis entre qualité du raisonnement, longueur du contexte et vitesse de réponse ? Le meilleur modèle pour un flux de travail est celui qui répond à ses exigences, pas nécessairement celui qui affiche le plus grand nombre.

2. Comment allouer 160 Go de VRAM sur le MINISFORUM MS-S1 MAX-P495 ?

Le MS-S1 MAX-P495 utilise une architecture à mémoire unifiée (UMA). Son processeur et sa puce graphique Radeon intégrée partagent la mémoire système, dont jusqu’à 160 Go peuvent être alloués à la mémoire graphique. Pour l’inférence locale de LLM, le réglage de la mémoire dans le BIOS est une étape importante de la préparation du système.

Étape 1 : régler l’allocation de mémoire UMA dans le BIOS

Sur les modèles MINISFORUM équipés d’un processeur AMD, comme le P495, suivez ce chemin :

1. Redémarrez la station de travail et appuyez sur la touche Suppr pour accéder à la configuration du BIOS.

2. Ouvrez Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration.

3. Sélectionnez iGPU Configuration et réglez l’option sur UMA Specified.

4. Réglez UMA Frame Buffer Size sur la capacité requise pour votre charge de travail, par exemple 160 Go.

5. Enregistrez les modifications et redémarrez le système.

Après le démarrage de Windows, vérifiez que vos logiciels graphiques et d’inférence peuvent accéder à la quantité de mémoire prévue. Pour un modèle de 70 ou 120 milliards de paramètres, prévoyez suffisamment de mémoire pour le système d’exploitation, les tampons d’exécution et le cache KV. Choisissez l’allocation en fonction du modèle et du contexte que vous comptez utiliser.

Étape 2 : vérifier votre environnement Windows 11

Le P495 est livré avec Windows 11. Vous pouvez donc commencer sans remplacer le système d’exploitation ni modifier les paramètres du noyau Linux. Avant d’installer un moteur d’inférence :

· Installez les mises à jour Windows disponibles et le pilote graphique AMD pris en charge pour le système.

· Prévoyez suffisamment d’espace libre sur le SSD pour télécharger les modèles : les grands modèles peuvent occuper des dizaines, voire plus d’une centaine de gigaoctets.

· Fermez les applications gourmandes en mémoire dont vous n’avez pas besoin avant de charger un grand modèle.

· Après avoir modifié les paramètres du BIOS, redémarrez, puis lancez le logiciel d’inférence et vérifiez que le moteur GPU est disponible.

Pour ce guide, Ollama sous Windows est recommandé comme première étape. Les utilisateurs qui souhaitent un contrôle plus direct peuvent également utiliser une version de llama.cpp compatible avec Windows.

3. Quel est le meilleur moteur d’inférence pour l’AMD Ryzen AI Max+ PRO 495 : Ollama ou llama.cpp ?

Pour une configuration de bureau sous Windows 11, Ollama est une solution simple pour télécharger et exécuter les modèles pris en charge. llama.cpp est une bonne alternative pour les utilisateurs qui souhaitent mieux contrôler les fichiers de modèles GGUF, le déchargement des couches vers le GPU et les paramètres de la ligne de commande. Le bon choix dépend du format du modèle et du backend pris en charge par la version installée.

Moteur

Meilleur choix

Pourquoi le choisir

Ollama pour Windows

Configuration locale rapide et gestion des modèles

Des commandes de modèle simples et une API locale

llama.cpp pour Windows

Modèles GGUF et réglage détaillé de l’inférence

Contrôle direct du contexte, du déchargement vers le GPU et des options d’exécution

Étape 1 : installer Ollama et lancer un modèle 70B ou 120B

Installez la version Windows d’Ollama depuis son site officiel. Une fois l’installation terminée, ouvrez PowerShell ou Windows Terminal et exécutez une commande de lancement pour un modèle disponible dans la bibliothèque Ollama.

ollama run llama3.3:70b

Pour un modèle plus volumineux, l’exemple suivant lance le modèle gpt-oss de classe 120B, si l’entrée correspondante est disponible dans la bibliothèque :

ollama run gpt-oss:120b

Le premier lancement télécharge le modèle ; prévoyez donc le temps nécessaire à la fin du téléchargement. Vérifiez au préalable l’espace disque disponible. Les balises de modèle et les options de quantification peuvent changer : vérifiez l’entrée actuelle dans la bibliothèque avant de lancer un téléchargement volumineux.

Étape 2 : définir la longueur du contexte avec un Modelfile

Ollama prend en charge le paramètre num_ctx dans un Modelfile. L’exemple ci-dessous crée une configuration locale avec un contexte de 8 192 jetons. Adaptez cette valeur au modèle et à la charge de travail que vous souhaitez exécuter.

FROM gpt-oss:120b

PARAMETER num_ctx 8192

Enregistrez ce texte dans un fichier nommé Modelfile, dans un dossier de travail. Exécutez ensuite ces commandes dans ce dossier :

ollama create gpt-oss-120b-local -f Modelfile

ollama run gpt-oss-120b-local

Un contexte plus long peut augmenter la quantité de texte que le modèle peut prendre en compte à la fois, mais il accroît aussi l’utilisation de mémoire du KV Cache. Commencez par une longueur de contexte adaptée à votre tâche, puis ajustez-la pour les documents plus longs ou les conversations prolongées.

Étape 3 : utiliser llama.cpp pour un contrôle direct

Si vous préférez les fichiers GGUF et un contrôle plus direct de l’environnement d’exécution, installez une version de llama.cpp compatible avec Windows et dotée d’un backend GPU pris en charge. Téléchargez les versions depuis les publications officielles du projet et suivez les instructions correspondant à la version choisie.

Voici un exemple de commande type pour un modèle GGUF compatible :

llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Expliquez le fonctionnement de l’inférence locale de LLM."

L’option -ngl 999 demande le déchargement vers le GPU du plus grand nombre possible de couches du modèle, selon les capacités du backend. La répartition réelle est indiquée dans la sortie au démarrage et dépend du modèle et de la version compilée. Remplacez le chemin d’exemple par l’emplacement de votre propre modèle GGUF.

Pour obtenir une comparaison équitable, gardez le même fichier de modèle, la même quantification, le même prompt, la même longueur de contexte et les mêmes paramètres de génération. Notez séparément la vitesse de traitement du prompt et celle de la génération ; elles mesurent différentes phases de la charge de travail d’inférence.

Étape 4 : comprendre le rôle du NPU

L’AMD Ryzen™ AI Max+ PRO 495 intègre un NPU dédié pouvant atteindre 55 TOPS. Cette valeur est distincte de la capacité totale de calcul en IA du processeur. L’accélération par NPU nécessite un logiciel compatible et la prise en charge des opérations utilisées ; l’inférence de LLM dans Ollama ou llama.cpp ne bascule pas automatiquement vers le NPU.

Le NPU peut compléter la charge de travail principale d’inférence dans les applications compatibles, par exemple pour le traitement vocal local ou d’autres tâches d’IA compatibles. Pour une configuration fiable, vérifiez la prise en charge logicielle de la charge de travail exacte au lieu de supposer que toutes les applications d’IA utiliseront automatiquement le NPU.

4. Comment faire évoluer le MS-S1 MAX-P495 pour les modèles de 300B+ et de 671B paramètres ?

Pour les modèles comptant des centaines de milliards de paramètres, l’inférence multi-nœuds permet de répartir le travail entre plusieurs systèmes. Un modèle de 671B stocké avec une précision théorique de quatre bits par paramètre représente environ 335,5 Go de données de poids brutes, avant prise en compte des métadonnées, du cache et de la surcharge d’exécution. La répartition de la charge entre plusieurs systèmes peut offrir une capacité mémoire supplémentaire.

Le MS-S1 MAX-P495 est équipé d’une connectivité réseau double 10GbE et USB4 V2. Des logiciels d’inférence multi-nœuds, notamment les fonctions distribuées de llama.cpp, permettent de mettre en place une infrastructure d’IA locale plus importante. La répartition exacte du modèle et les performances dépendent du framework d’inférence, de la configuration réseau et du format du modèle.

Planifier et mesurer le cluster

Avant de passer à un modèle de 300B+, définissez la charge de travail prévue et évaluez les performances d’un modèle plus petit sur les nœuds envisagés. Mesurez :

· Le temps de chargement du modèle et l’utilisation maximale de la mémoire sur chaque nœud.

· Le débit de traitement des invites et la vitesse de génération des jetons.

· L’utilisation du réseau et la latence des communications.

· La latence des réponses avec le nombre de requêtes simultanées prévu.

Ces mesures permettent de déterminer si les performances sont limitées par la capacité mémoire, la puissance de calcul ou les communications entre les nœuds. Elles fournissent également une base reproductible pour faire évoluer l’infrastructure vers un modèle plus important.

5. Foire aux questions

1. La bande passante mémoire affecte-t-elle la vitesse de génération des tokens d’un LLM local ?

Oui. Lors de la génération de tokens, le système accède de façon répétée aux poids du modèle. La bande passante mémoire peut donc avoir une forte influence sur les charges de travail limitées par la mémoire. La bande passante mémoire d’environ 273GB/s du P495 est une caractéristique matérielle importante, mais la vitesse réelle de génération des tokens dépend également de la quantification, de l’architecture du modèle, de la longueur du contexte et du logiciel d’inférence.

2. Comment la consommation électrique du P495 se compare-t-elle à celle d’un serveur équipé de plusieurs GPU ?

Le P495 est un système compact conçu pour exécuter des charges de travail d’IA locales sans l’encombrement d’une station de travail volumineuse équipée de plusieurs GPU. MINISFORUM indique une puissance de 120W en charge soutenue et de 160W en pointe pour cette configuration. La consommation mesurée à la prise varie selon la charge de travail et les paramètres du système ; comparez donc des mesures prises dans des conditions équivalentes.

3. Puis-je ajouter un GPU dédié ou étendre le stockage SSD du P495 ?

Le P495 n’est pas présenté comme prenant en charge l’ajout d’un GPU dédié. Pour l’extension du stockage, le système dispose d’emplacements SSD M.2 ; consultez les caractéristiques officielles du produit pour connaître la configuration prise en charge et la compatibilité des disques. Choisir un SSD rapide et suffisamment spacieux est utile pour stocker plusieurs fichiers de modèles volumineux.

4. Le P495 peut-il exécuter un modèle de 122B avec une fenêtre de contexte de 131K ?

Oui. Le P495 a été testé avec un modèle de 122B et une fenêtre de contexte de 131K tokens. C’est un bon exemple de la façon dont la mémoire unifiée de 192GB du système peut prendre en charge des charges de travail impliquant de grands modèles avec un contexte étendu. Les performances réelles varient selon le modèle, la quantification, le moteur d’inférence et la configuration de test.

5. Le P495 peut-il exécuter DeepSeek et d’autres grands modèles MoE ?

Oui. Lors des tests rapportés, DeepSeek-V4-Flash-0731-UD-Q4_K_XL a atteint 12,35 tok/s, tandis que Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL a atteint 26,48 tok/s. Ces chiffres montrent que différentes architectures et implémentations de modèles peuvent produire des vitesses de génération différentes sur la même station de travail. Pour des comparaisons reproductibles, publiez le contexte du test, la version du logiciel et la méthode de mesure avec le résultat en tok/s.

Créez votre flux de travail d’IA locale avec le MINISFORUM MS-S1 MAX-P495

Exécuter un grand modèle de langage en local nécessite de combiner planification de la mémoire, choix des logiciels et tests reproductibles. Le MINISFORUM MS-S1 MAX-P495 associe un processeur AMD Ryzen™ AI Max+ PRO 495, 192 Go de mémoire unifiée et jusqu’à 160 Go de VRAM allouable, dans une station de travail compacte conçue pour les charges de travail d’IA locale exigeantes.

Commencez par configurer la mémoire UMA dans le BIOS, puis installez un moteur d’inférence sur le système Windows 11 préinstallé. Choisissez un modèle quantifié adapté à votre charge de travail, définissez une longueur de contexte appropriée et relevez la vitesse de génération dans des conditions reproductibles. Des modèles 70B aux charges de travail MoE 284B testées, cette approche étape par étape vous aide à transformer la capacité mémoire en un flux de travail d’IA locale concret.

Prêt à vous lancer ? Consultez la page produit officielle du MINISFORUM MS-S1 MAX-P495 pour examiner les caractéristiques et les détails de configuration de votre station de travail IA locale.

Dépasser les limites des performances graphiques : stations d’accueil eGPU OCuLink pour mini PC AMD Ryzen AI Max+ PRO 495 face aux stations de travail traditionnelles : tests de l’IA locale et de la CAO
Laissez un commentaire
Français Français
English English Allemand Allemand Espagnol Espagnol Français Français Italiano Italiano 日本語 日本語 Coréen Coréen Néerlandais Néerlandais Chinois simplifié Chinois simplifié
0
Chariot
X