Cómo ejecutar modelos LLM locales de 70B y 120B en el MINISFORUM MS-S1 MAX-P495
¿Puedes ejecutar localmente un modelo de lenguaje grande de 70B o 120B sin montar una estación de trabajo con varias tarjetas gráficas costosas? La MINISFORUM MS-S1 MAX-P495 está diseñada para facilitar este tipo de flujo de trabajo de IA local. Con un procesador AMD Ryzen™ AI Max+ PRO 495, 192 GB de memoria unificada LPDDR5X-8533 y hasta 160 GB de VRAM asignable, ofrece a los desarrolladores espacio para ejecutar grandes modelos cuantizados en una estación de trabajo compacta.
Los pasos prácticos son tan importantes como las especificaciones. Esta guía explica cómo planificar la memoria, asignar memoria gráfica compartida en la BIOS y empezar a realizar inferencias localmente en el sistema Windows 11 incluido con la P495.
1. ¿Puede la MINISFORUM MS-S1 MAX-P495 ejecutar localmente modelos LLM de 70B y 120B parámetros?
Sí. La MINISFORUM MS-S1 MAX-P495 puede ejecutar localmente modelos de lenguaje cuantizados adecuados de 70B y de la categoría de 120B. Sus 192 GB de memoria unificada y hasta 160 GB de VRAM asignable ofrecen una capacidad considerable para los pesos del modelo, la caché KV y los búferes de inferencia. El rendimiento real depende del modelo, la cuantización, la longitud del contexto y el software de inferencia.
Calcula los requisitos de memoria antes de descargar un modelo
Empieza con una estimación sencilla para los pesos del modelo:
Memoria aproximada para los pesos = cantidad de parámetros × bits por parámetro ÷ 8
Con una precisión idealizada de cuatro bits por parámetro, un modelo de 70 mil millones de parámetros necesita unos 35 GB solo para sus pesos. Un modelo de 120B con la misma precisión nominal necesita unos 60 GB. Los archivos reales de los modelos varían porque los formatos de cuantización incluyen metadatos, factores de escala y, en ocasiones, tensores de mayor precisión.
Reserva memoria adicional para:
· La caché KV, que almacena datos de atención para la ventana de contexto activa.
· Los búferes de inferencia y los tensores temporales que se usan durante la generación.
· Windows 11, las aplicaciones en segundo plano y otros procesos del sistema.
· Las instrucciones más largas o varias solicitudes simultáneas, que pueden aumentar el uso de memoria.
Que un archivo de modelo quepa en la memoria disponible es solo un punto de partida, no todo el cálculo. También hay que tener en cuenta la longitud del contexto y la sobrecarga del entorno de ejecución.
Compara la capacidad de memoria disponible en distintas estaciones de trabajo
Esta tabla compara la capacidad aproximada y la compatibilidad probable con distintos modelos. Q4 y Q8 se refieren a niveles de cuantización habituales; el tamaño exacto de los archivos y el uso de memoria durante la ejecución dependen del modelo y de la implementación.
|
Configuración de la estación de trabajo |
Memoria asignable / física |
70B Q4 |
70B Q8 |
120B T4 |
|
Hasta 96 GB de VRAM asignable |
Generalmente factible |
A menudo es viable |
Depende del modelo y del contexto |
|
|
MS-S1 MAX-P495 (192 GB de memoria) |
Hasta 160 GB de VRAM asignable |
Generalmente factible |
Generalmente factible |
Generalmente factible |
Una estación de trabajo con dos GPU no funciona automáticamente como una sola GPU de 48 GB. La distribución del modelo y la compatibilidad con varias GPU dependen del motor de inferencia y de la configuración del sistema. La ventaja de la P495 es su gran memoria unificada, que ofrece a un solo sistema más espacio para los pesos de modelos cuantizados de gran tamaño y las tareas con contextos largos.
¿Qué pasa con los modelos MoE de 284B?
Los modelos de mezcla de expertos (MoE) activan solo una parte de sus parámetros para cada token, lo que puede reducir el cálculo en comparación con un modelo denso de tamaño similar. Aun así, todo el conjunto de pesos del modelo debe estar disponible para el sistema de inferencia.
También se ha probado la MINISFORUM MS-S1 MAX-P495 con DeepSeek V4 Flash 284B con cuantización Q4, usando aproximadamente 144 GB de memoria para el modelo y alcanzando una velocidad de generación medida de 12,35 tokens por segundo (tok/s). Este es un ejemplo práctico de cómo la cuantización y la memoria unificada pueden hacer que un modelo MoE muy grande sea utilizable en una sola estación de trabajo compacta.
Los resultados de referencia siempre deben interpretarse teniendo en cuenta la versión exacta del modelo, la cuantización, la longitud del contexto, el motor de inferencia y el método de medición. Estos detalles ayudan a los lectores a reproducir los resultados y hacer comparaciones equivalentes.
Una pregunta útil antes de elegir un modelo: ¿necesitas el mayor número de parámetros posible o un equilibrio específico entre calidad de razonamiento, longitud del contexto y velocidad de respuesta? El mejor modelo para un flujo de trabajo es el que satisface sus requisitos, no necesariamente el que anuncia la cifra más alta.
2. ¿Cómo asignar 160 GB de VRAM en el MINISFORUM MS-S1 MAX-P495?
El MS-S1 MAX-P495 utiliza una arquitectura de memoria unificada (UMA). La CPU y los gráficos Radeon integrados comparten la memoria del sistema, y se pueden asignar hasta 160 GB como memoria gráfica. Para inferir con LLM locales, la configuración de memoria del BIOS es una parte importante de la preparación del sistema.
Paso 1: Configura la asignación de memoria UMA en el BIOS
Sigue esta ruta en los modelos MINISFORUM basados en AMD, como el P495:
1. Reinicia la estación de trabajo y pulsa Delete para acceder a la configuración del BIOS.
2. Abre Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration.
3. Selecciona iGPU Configuration y configúralo como UMA Specified.
4. Configura UMA Frame Buffer Size con la capacidad que requiera tu carga de trabajo, por ejemplo, 160 GB.
5. Guarda los cambios y reinicia el sistema.
Cuando se inicie Windows, comprueba que el software de gráficos e inferencia pueda acceder a la asignación de memoria prevista. Para un modelo de 70B o 120B, deja suficiente margen para el sistema operativo, los búferes de ejecución y la caché KV. Elige la asignación según el modelo y el contexto que quieras ejecutar.
Paso 2: Confirma tu entorno de Windows 11
El P495 viene con Windows 11, así que puedes empezar sin sustituir el sistema operativo ni cambiar la configuración del kernel de Linux. Antes de instalar un motor de inferencia:
· Instala las actualizaciones disponibles de Windows y el controlador gráfico de AMD compatible con el sistema.
· Deja suficiente espacio libre en el SSD para descargar modelos; los modelos grandes pueden ocupar decenas o más de cien gigabytes.
· Cierra las aplicaciones innecesarias que consuman mucha memoria antes de cargar un modelo grande.
· Reinicia el sistema después de cambiar la configuración del BIOS; luego, inicia el software de inferencia y comprueba que el backend de la GPU esté disponible.
En esta guía, el primer paso recomendado es Ollama en Windows. Quienes quieran un control más directo también pueden usar una versión de llama.cpp compatible con Windows.
3. ¿Cuál es el mejor motor de inferencia para AMD Ryzen AI Max+ PRO 495: Ollama o llama.cpp?
Para un flujo de trabajo en un equipo de escritorio con Windows 11, Ollama ofrece una forma sencilla de descargar y ejecutar modelos compatibles. llama.cpp es una buena alternativa para quienes quieren tener más control sobre los archivos de modelos GGUF, la descarga de capas a la GPU y los parámetros de la línea de comandos. La elección adecuada depende del formato del modelo y del backend compatible con la compilación instalada.
|
Motor |
Mejor ajuste |
Por qué elegirlo |
|
Configuración local rápida y gestión de modelos |
Comandos de modelo simples y una API local |
|
|
llama.cpp para Windows |
Modelos GGUF y ajuste detallado de la inferencia |
Control directo del contexto, descarga a la GPU y opciones de ejecución |
Paso 1: Instalar Ollama y ejecutar un modelo de 70B o 120B
Instala la versión de Ollama para Windows desde su sitio web oficial. Una vez completada la instalación, abre PowerShell o Windows Terminal y ejecuta el comando de un modelo disponible en la biblioteca de Ollama.
ollama run llama3.3:70b
Para un modelo más grande, el siguiente ejemplo inicia el modelo gpt-oss de clase 120B cuando está disponible la entrada correspondiente en la biblioteca:
ollama run gpt-oss:120b
El primer inicio descarga el modelo, así que espera a que termine la descarga. Comprueba antes que haya suficiente espacio en disco. Las etiquetas de los modelos y las opciones de cuantización pueden cambiar, así que confirma la entrada actual de la biblioteca antes de iniciar una descarga grande.
Paso 2: Establecer la longitud del contexto con un Modelfile
Ollama admite el parámetro num_ctx en un Modelfile. El ejemplo siguiente crea una configuración local con un contexto de 8.192 tokens. Ajusta el valor según el modelo y la carga de trabajo que quieras ejecutar.
FROM gpt-oss:120b
PARAMETER num_ctx 8192
Guarda este texto en un archivo llamado Modelfile dentro de una carpeta de trabajo. Luego ejecuta estos comandos en esa carpeta:
ollama create gpt-oss-120b-local -f Modelfile
ollama run gpt-oss-120b-local
Un contexto más amplio puede permitir que el modelo tenga en cuenta más texto a la vez, pero también aumenta el uso de memoria de la caché KV. Empieza con una longitud de contexto adecuada para tu tarea y luego ajústala para documentos más largos o conversaciones prolongadas.
Paso 3: Usar llama.cpp para un control directo
Si prefieres archivos GGUF y un control más directo del tiempo de ejecución, instala una compilación de llama.cpp compatible con Windows y con un backend de GPU compatible. Descarga las compilaciones desde las versiones oficiales del proyecto y sigue las instrucciones de la compilación que elijas.
Un patrón típico de línea de comandos para un modelo GGUF compatible es:
llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Explica cómo funciona la inferencia local de LLM."
La opción -ngl 999 solicita transferir a la GPU tantas capas del modelo como permita el backend. La ubicación real se muestra en el resultado del inicio y depende del modelo y de la compilación. Sustituye la ruta de ejemplo por la ubicación de tu propio modelo GGUF.
Para que la comparación sea justa, mantén constantes el archivo del modelo, la cuantización, el prompt, la longitud del contexto y los ajustes de generación. Registra por separado la velocidad de procesamiento del prompt y la velocidad de generación; miden distintas partes de la carga de inferencia.
Paso 4: Comprender la función de la NPU
El AMD Ryzen™ AI Max+ PRO 495 incluye una NPU dedicada con una capacidad de hasta 55 TOPS. Esta es una especificación independiente de la capacidad total de cálculo de IA del procesador. La aceleración de la NPU requiere software compatible y operaciones compatibles; la inferencia habitual de LLM con Ollama o llama.cpp no se ejecuta automáticamente en la NPU.
La NPU puede complementar la carga de inferencia principal en las aplicaciones compatibles, por ejemplo, para el procesamiento local de voz u otras tareas de IA compatibles. Para una configuración fiable, comprueba la compatibilidad del software con la carga de trabajo específica en lugar de dar por hecho que todas las aplicaciones de IA usarán la NPU automáticamente.
4. ¿Cómo puedes escalar el MS-S1 MAX-P495 para modelos de 300B+ y 671B parámetros?
Para modelos con cientos de miles de millones de parámetros, la inferencia multinodo puede distribuir el trabajo del modelo entre varios sistemas. Un modelo de 671B almacenado con un valor idealizado de cuatro bits por parámetro representa aproximadamente 335,5 GB de datos de pesos sin procesar, antes de contar los metadatos, la caché y la sobrecarga del entorno de ejecución. Distribuir la carga de trabajo entre varios sistemas puede proporcionar capacidad de memoria adicional.
El MS-S1 MAX-P495 incluye conectividad de red dual de 10GbE y USB4 V2. Se puede usar software de inferencia multinodo, incluidas las funciones distribuidas disponibles en llama.cpp, para crear una configuración local de IA de mayor tamaño. La ubicación exacta del modelo y el rendimiento dependen del marco de inferencia, la configuración de red y el formato del modelo.
Planifica y mide el clúster
Antes de ampliar la configuración para un modelo de 300B+, define la carga de trabajo prevista y compara el rendimiento de un modelo más pequeño en los nodos previstos. Mide lo siguiente:
· El tiempo de carga del modelo y el uso máximo de memoria en cada nodo.
· El rendimiento del procesamiento de prompts y la velocidad de generación de tokens.
· La utilización de la red y la latencia de comunicación.
· La latencia de respuesta con el número previsto de solicitudes simultáneas.
Estas mediciones ayudan a identificar si la capacidad de memoria, el cómputo o la comunicación entre nodos limitan el rendimiento. También proporcionan una base reproducible para ampliar la configuración a un modelo de mayor tamaño.
5. Preguntas frecuentes
1. ¿Afecta el ancho de banda de memoria a la velocidad de generación de tokens de los LLM locales?
Sí. Durante la generación de tokens, el sistema accede repetidamente a los pesos del modelo, por lo que el ancho de banda de memoria puede influir mucho en las cargas de trabajo limitadas por la memoria. El ancho de banda de memoria del P495, de aproximadamente 273GB/s, es una especificación de hardware importante, aunque la velocidad real de generación de tokens también depende de la cuantización, la arquitectura del modelo, la longitud del contexto y el software de inferencia.
2. ¿Cómo se compara el consumo del P495 con el de un servidor con varias GPU?
El P495 es un sistema compacto diseñado para ejecutar cargas de trabajo de IA local sin ocupar el espacio de una estación de trabajo grande con varias GPU. MINISFORUM especifica una potencia de 120W con carga sostenida y una potencia máxima de 160W para esta configuración. El consumo real medido en la toma de corriente varía según la carga de trabajo y la configuración del sistema, así que compara mediciones tomadas en condiciones equivalentes.
3. ¿Puedo ampliar el P495 con una GPU discreta o almacenamiento SSD adicional?
El P495 no se comercializa como compatible con la ampliación mediante GPU discreta. Para ampliar el almacenamiento, el sistema cuenta con ranuras SSD M.2; consulta las especificaciones oficiales del producto para ver la configuración de ranuras compatible y la compatibilidad con unidades. Elegir un SSD rápido y con suficiente capacidad es útil para almacenar varios archivos de modelos grandes.
4. ¿Puede el P495 ejecutar un modelo de 122B con una ventana de contexto de 131K?
Sí. Se ha demostrado que el P495 ejecuta un modelo de 122B con una ventana de contexto de 131K tokens. Es un ejemplo útil de cómo la memoria unificada de 192GB del sistema puede admitir cargas de trabajo con modelos grandes y contextos extensos. El rendimiento real variará según el modelo específico, la cuantización, el motor de inferencia y la configuración de prueba.
5. ¿Puede la P495 ejecutar DeepSeek y otros modelos MoE grandes?
Sí. En las pruebas mencionadas, DeepSeek-V4-Flash-0731-UD-Q4_K_XL alcanzó 12,35 tok/s, mientras que Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL alcanzó 26,48 tok/s. Estas cifras muestran que distintas arquitecturas e implementaciones de modelos pueden generar velocidades diferentes en la misma estación de trabajo. Para que las comparaciones sean reproducibles, publica el contexto de prueba, la versión del software y el método de medición junto con el resultado en tok/s.
Crea tu flujo de trabajo de IA local con la MINISFORUM MS-S1 MAX-P495
Ejecutar un modelo de lenguaje grande de forma local combina planificación de memoria, selección de software y pruebas reproducibles. La MINISFORUM MS-S1 MAX-P495 incorpora un procesador AMD Ryzen™ AI Max+ PRO 495, 192 GB de memoria unificada y hasta 160 GB de VRAM asignable en una estación de trabajo compacta diseñada para cargas de trabajo locales de IA exigentes.
Empieza configurando la memoria UMA en la BIOS y luego instala un motor de inferencia en el sistema Windows 11 preinstalado. Elige un modelo cuantizado que se ajuste a tu carga de trabajo, establece una longitud de contexto adecuada y registra la velocidad de generación en condiciones reproducibles. Desde modelos de 70B hasta cargas de trabajo MoE de 284B probadas, este enfoque paso a paso ayuda a convertir la capacidad de memoria en un flujo de trabajo práctico de IA local.
¿Listo para empezar? Visita la página oficial del producto MINISFORUM MS-S1 MAX-P495 para consultar las especificaciones y los detalles de configuración de tu estación de trabajo local de IA.