如何在 MINISFORUM MS-S1 MAX-P495 上运行 70B 和 120B 本地大语言模型
无需围绕多张昂贵显卡组装工作站,也能在本地运行 70B 或 120B 大语言模型吗?MINISFORUM MS-S1 MAX-P495旨在让这类本地 AI 工作流程更易实现。它搭载 AMD Ryzen™ AI Max+ PRO 495 处理器、192GB LPDDR5X-8533 统一内存,最高可分配 160GB 显存,为开发者在紧凑型工作站上运行大型量化模型提供了充足空间。
实际操作步骤与规格同样重要。本指南将介绍如何规划内存、在 BIOS 中分配共享显存,以及如何在 P495 随附的 Windows 11 系统上开始本地推理。
1. MINISFORUM MS-S1 MAX-P495 能在本地运行 70B 和 120B 参数的大语言模型吗?
可以。MINISFORUM MS-S1 MAX-P495 能在本地运行适用的量化 70B 和 120B 级语言模型。其 192GB 统一内存和最高 160GB 可分配显存,为模型权重、KV 缓存和推理缓冲区提供了充足空间。实际性能取决于模型、量化方式、上下文长度和推理软件。
下载模型前先计算内存需求
先用一个简单公式估算模型权重所需内存:
权重内存估算值 = 参数数量 × 每个参数的位数 ÷ 8
按理想化的每个参数 4 位计算,一个 700 亿参数模型仅权重就需要约 35GB 内存。同等标称精度的 120B 模型则需要约 60GB。由于量化格式包含元数据、缩放值,有时还包含更高精度的张量,因此实际模型文件大小会有所不同。
还需为以下内容预留额外内存:
· KV 缓存,用于存储当前上下文窗口的注意力数据。
· 生成过程中使用的推理缓冲区和临时张量。
· Windows 11、后台应用程序及其他系统进程。
· 较长的提示词或多个并发请求,它们可能会增加内存用量。
模型文件能装进可用内存只是估算的起点,并非全部。还必须考虑上下文长度和运行时开销。
比较不同工作站的可用内存空间
此表比较了大致的内存容量和可能适配的模型。Q4 和 Q8 指常见的量化等级;具体文件大小和运行时内存用量取决于模型及其实现。
|
\ 工作站配置\ |
可分配内存 / 物理内存 |
70B 第四季度 |
70B Q8 |
120B 第四季度 |
|
最多可分配 96GB 显存 |
通常可行 |
通常可行 |
取决于型号和使用情境 |
|
|
MS-S1 MAX-P495(192GB 内存) |
最多可分配 160GB 显存 |
通常可行 |
通常可行 |
通常可行 |
双 GPU 工作站的运行方式并不会自动等同于一块 48GB GPU。模型的放置方式和多 GPU 支持取决于推理引擎及系统配置。P495 的优势在于拥有大容量统一内存池,让单台系统能够为大型量化模型权重和长上下文工作负载提供更多空间。
284B MoE 模型表现如何?
混合专家(MoE)模型会针对每个 token 仅激活部分参数,因此与规模相近的稠密模型相比,可以减少计算量。但推理系统仍需能够访问完整的模型权重。
MINISFORUM MS-S1 MAX-P495 还经过了DeepSeek V4 Flash 284B Q4 量化版本的测试,模型内存占用约为 144GB,实测生成速度为每秒 12.35 个 token(tok/s)。这是一个实际案例,展示了量化和统一内存如何让超大型 MoE 模型能够在一台紧凑型工作站上运行。
解读基准测试时,应同时考虑具体的模型构建版本、量化方式、上下文长度、推理引擎和测量方法。这些信息有助于读者复现结果并进行同类比较。
选择模型前,不妨先问问自己:你需要尽可能多的参数,还是需要在推理质量、上下文长度和响应速度之间取得特定平衡?最适合某项工作流程的模型,是能够满足其需求的模型,不一定是宣传参数最大的那个。
2. 如何在 MINISFORUM MS-S1 MAX-P495 上分配 160GB 显存?
MS-S1 MAX-P495 使用统一内存架构(UMA)。其 CPU 和集成 Radeon 显卡共享系统内存,最多可分配 160GB 作为显存。对于本地 LLM 推理,设置 BIOS 内存是准备系统的重要环节。
步骤 1:在 BIOS 中设置 UMA 内存分配
对于 P495 等基于 AMD 的 MINISFORUM 机型,请按照以下路径操作:
1. 重启工作站并按 Delete 键进入 BIOS Setup。
2. 打开 Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration。
3. 选择 iGPU Configuration,并将其设置为 UMA Specified。
4. 将 UMA Frame Buffer Size 设置为工作负载所需的容量,例如 160GB。
5. 保存更改并重启系统。
Windows 启动后,请检查显卡和推理软件能否访问预期的内存分配。对于 70B 或 120B 模型,请为操作系统、运行时缓冲区和 KV Cache 留出充足余量。请根据要运行的模型和上下文选择分配容量。
步骤 2:确认 Windows 11 环境
P495 出厂预装 Windows 11,因此无需更换操作系统或更改 Linux 内核设置即可开始使用。安装推理引擎前:
· 安装可用的 Windows 更新,以及适用于该系统的AMD 显卡驱动 。
· 在 SSD 上留出充足空间用于下载模型;大型模型可能占用数十 GB 甚至超过 100GB。
· 加载大型模型前,关闭不必要的高内存占用应用程序。
· 更改 BIOS 设置后重启,然后启动推理软件并确认 GPU 后端可用。
本指南建议首先在 Windows 上使用 Ollama。希望获得更直接控制的用户也可以使用兼容 Windows 的 llama.cpp 构建版本。
3. AMD Ryzen AI Max+ PRO 495 的最佳推理引擎是什么:Ollama 还是 llama.cpp?
对于 Windows 11 桌面工作流,Ollama 是下载和运行受支持模型的简便方式。对于希望更灵活地控制 GGUF 模型文件、GPU 层卸载和命令行参数的用户,llama.cpp 是不错的替代方案。合适的选择取决于模型格式以及已安装版本所支持的后端。
|
发动机 |
最佳适配 |
为什么选择它 |
|
快速本地设置和模型管理 |
简单的模型指令和本地 API |
|
|
适用于 Windows 的 llama.cpp |
GGUF 模型和详细的推理调优 |
直接控制上下文、GPU 卸载和运行时选项 |
第 1 步:安装 Ollama 并运行 70B 或 120B 模型
从 Ollama 官方网站安装 Windows 版本。安装完成后,打开 PowerShell 或 Windows Terminal,并运行 Ollama 库中某个可用模型的命令。
ollama run llama3.3:70b
对于较大的模型,如果库中提供了相应条目,以下示例会启动 120B 级别的 gpt-oss 模型:
ollama run gpt-oss:120b
首次启动时会下载模型,请留出足够时间等待下载完成。提前检查可用磁盘空间。模型标签和量化选项可能会变化,因此开始大型下载前,请确认当前的库条目。
第 2 步:使用 Modelfile 设置上下文长度
Ollama 支持在 Modelfile 中设置 num_ctx 参数。以下示例会创建一个上下文长度为 8,192 个 token 的本地配置。请根据要运行的模型和工作负载调整该值。
FROM gpt-oss:120b
PARAMETER num_ctx 8192
将此文本保存为工作文件夹中的 Modelfile 文件,然后在该文件夹中运行以下命令:
ollama create gpt-oss-120b-local -f Modelfile
ollama run gpt-oss-120b-local
较长的上下文可以增加模型一次能够考虑的文本量,但也会增加 KV Cache 的内存占用。请先选择适合任务的上下文长度,然后根据较长文档或长时间对话的需要进行调整。
第 3 步:使用 llama.cpp 进行直接控制
如果你更喜欢 GGUF 文件并希望直接控制运行时,请安装兼容 Windows 且带有受支持 GPU 后端的 llama.cpp 构建版本。从项目的官方发布页面下载构建版本,并按照所选版本的具体说明操作。
兼容 GGUF 模型的典型命令行用法如下:
llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "Explain how local LLM inference works."
-ngl 999 选项会请求将尽可能多的模型层卸载到后端能够使用的 GPU 上。实际放置情况会显示在启动输出中,并取决于模型和构建版本。请将示例文件路径替换为你自己的 GGUF 模型所在位置。
为确保比较公平,请保持模型文件、量化方式、提示词、上下文长度和生成设置一致。分别记录提示词处理速度和生成速度;它们衡量的是推理工作负载的不同环节。
第 4 步:了解 NPU 的作用
AMD Ryzen™ AI Max+ PRO 495 配备了专用 NPU,性能最高可达 55 TOPS。这项规格与处理器的 AI 总算力是分开的。NPU 加速需要兼容的软件和受支持的操作;普通的 Ollama 或 llama.cpp LLM 推理不会自动转移到 NPU 上执行。
在受支持的应用中,NPU 可以辅助处理主要推理工作负载,例如本地语音处理或其他兼容的 AI 任务。要确保配置可靠,请确认软件是否支持确切的工作负载,而不要假设所有 AI 应用都会自动使用 NPU。
4. 如何扩展 MS-S1 MAX-P495,以运行 300B+ 和 671B 参数模型?
对于拥有数千亿参数的模型,多节点推理可以将模型任务分配到多个系统。一个 671B 模型按理想化的每个参数 4 位存储时,原始权重数据约为 335.5GB,尚未计入元数据、缓存和运行时开销。将工作负载分配到多个系统可以提供额外的内存容量。
MS-S1 MAX-P495 配备双 10GbE 网络接口和 USB4 V2 连接。可以使用多节点推理软件(包括 llama.cpp 提供的分布式功能)来搭建规模更大的本地 AI 系统。具体的模型部署方式和性能取决于推理框架、网络配置和模型格式。
规划并测量集群
在扩展到 300B+ 模型之前,先确定预期工作负载,并在计划使用的节点上对较小的模型进行基准测试。测量以下指标:
· 每个节点的模型加载时间和峰值内存使用量。
· 提示词处理吞吐量和令牌生成速度。
· 网络利用率和通信延迟。
· 在预期并发请求数量下的响应延迟。
这些测量有助于确定性能瓶颈是内存容量、计算能力还是节点间通信。它们也为将系统扩展到更大的模型提供了可重复的依据。
5. 常见问题
1. 内存带宽会影响本地 LLM 的令牌生成速度吗?
是的。在生成令牌期间,系统会反复读取模型权重,因此内存带宽会显著影响受内存限制的工作负载。P495 约 273GB/s 的内存带宽是一项重要的硬件规格,但实际令牌速度也取决于量化方式、模型架构、上下文长度和推理软件。
2. 与多 GPU 服务器相比,P495 的功耗如何?
P495 是一款紧凑型系统,旨在运行本地 AI 工作负载,无需占用大型多 GPU 工作站的空间。MINISFORUM 标注此配置的持续负载功耗为 120W,峰值功耗为 160W。实际墙上功耗会因工作负载和系统设置而异,因此请在相同条件下比较测量结果。
3. 我可以为 P495 扩展独立显卡或额外的 SSD 存储吗?
P495 并未宣传支持扩展独立显卡。对于存储扩展,该系统提供 M.2 SSD 插槽;请查看官方产品规格,了解支持的插槽配置和硬盘兼容性。选择速度快且容量足够大的 SSD,有助于存储多个大型模型文件。
4. P495 能运行具有 131K 上下文窗口的 122B 模型吗?
是的。P495 已展示过运行具有 131K 令牌上下文窗口的 122B 模型。这是一个很好的例子,说明系统的 192GB 统一内存 如何支持具有超长上下文的大模型工作负载。实际性能会因具体模型、量化方式、推理引擎和测试配置而异。
5. P495 能运行 DeepSeek 和其他大型 MoE 模型吗?
可以。在报告的测试中,DeepSeek-V4-Flash-0731-UD-Q4_K_XL 的速度达到 12.35 tok/s,而 Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL 的速度达到 26.48 tok/s。这些数据表明,不同的模型架构和实现方式在同一台工作站上也可能产生不同的生成速度。为便于复现对比,请在公布 tok/s 结果时同时提供测试环境、软件版本和测量方法。
使用 MINISFORUM MS-S1 MAX-P495 构建本地 AI 工作流
在本地运行大型语言模型,需要统筹规划内存、选择软件并进行可重复的测试。MINISFORUM MS-S1 MAX-P495 配备 AMD Ryzen™ AI Max+ PRO 495 处理器、192GB 统一内存和最高 160GB 可分配显存,是一款专为高要求本地 AI 工作负载打造的小型工作站。
首先在 BIOS 中配置 UMA 内存,然后在预装的 Windows 11 系统上安装推理引擎。选择与工作负载相匹配的量化模型,设置合适的上下文长度,并在可重复的条件下记录生成速度。从 70B 模型到经过测试的 284B MoE 工作负载,这种循序渐进的方法有助于将内存容量转化为实用的本地 AI 工作流。
准备好开始了吗?访问 MINISFORUM MS-S1 MAX-P495 官方产品页面 ,查看本地 AI 工作站的规格和配置详情。