ニュースセンター

高価なグラフィックカードを複数搭載したワークステーションを組み立てずに、70Bや120Bの大規模言語モデルをローカルで実行できるでしょうか?MINISFORUM MS-S1 MAX-P495は、こうしたローカルAIワークフローをより手軽に実現できるよう設計されています。AMD Ryzen™ AI Max+ PRO 495プロセッサー、192GBのLPDDR5X-8533ユニファイドメモリ、最大160GBの割り当て可能なVRAMを備え、開発者がコンパクトなワークステーションで大規模な量子化モデルを実行できる環境を提供します。

仕様だけでなく、実際の手順も重要です。このガイドでは、メモリの計画方法、BIOSでの共有グラフィックスメモリの割り当て方法、そしてP495に付属するWindows 11システムでローカル推論を始める方法を説明します。

1. MINISFORUM MS-S1 MAX-P495は70Bおよび120BパラメーターのLLMをローカルで実行できますか?

はい。MINISFORUM MS-S1 MAX-P495は、適切に量子化された70Bおよび120Bクラスの言語モデルをローカルで実行できます。192GBのユニファイドメモリと最大160GBの割り当て可能なVRAMにより、モデルの重み、KVキャッシュ、推論バッファーに十分な容量を確保できます。実際のパフォーマンスは、モデル、量子化方式、コンテキスト長、推論ソフトウェアによって異なります。

モデルをダウンロードする前に必要なメモリを計算する

まず、モデルの重みに必要なメモリを簡単に見積もります。

重みに必要なメモリの概算 = パラメーター数 × 1パラメーターあたりのビット数 ÷ 8

理想的な条件で1パラメーターあたり4ビットとすると、700億パラメーターのモデルでは重みだけで約35GBが必要です。同じ公称精度の場合、120Bモデルでは約60GB必要です。実際のモデルファイルのサイズは、量子化形式にメタデータやスケールが含まれるほか、より高精度のテンソルが使われる場合もあるため異なります。

次の項目に必要な追加メモリも見込んでください。

· KVキャッシュ。アクティブなコンテキストウィンドウの注意機構のデータを保存します。

· 生成時に使用する推論バッファーと一時テンソル。

· Windows 11、バックグラウンドアプリケーション、その他のシステムプロセス。

· メモリ使用量が増える可能性のある長いプロンプトや複数の同時リクエスト。

モデルファイルが使用可能なメモリに収まることは、計算の出発点にすぎません。コンテキスト長と実行時のオーバーヘッドも考慮する必要があります。

ワークステーションごとのメモリ余裕を比較する

この表では、容量の概算と、実行できる可能性が高いモデルを比較します。Q4とQ8は一般的な量子化レベルを指します。正確なファイルサイズと実行時のメモリ使用量は、モデルと実装によって異なります。

ワークステーションの構成

割り当て可能なメモリ / 物理メモリ

70B 第4四半期

70B Q8

第4四半期 120B

MS-S1 MAX(128GBメモリ)

最大96GBの割り当て可能なVRAM

一般的に実現可能です

多くの場合、実施可能です

モデルおよび状況により異なります

MS-S1 MAX-P495(192GBメモリ)

最大160GBの割り当て可能なVRAM

一般的に実現可能です

一般的に実現可能です

一般的に実現可能です

デュアルGPUワークステーションが、自動的に単一の48GB GPUのように動作するわけではありません。モデルの配置やマルチGPUへの対応は、推論エンジンとシステム構成によって異なります。P495の強みは、大容量の共有メモリプールです。これにより、単一システムで大規模な量子化モデルの重みや、長いコンテキストを扱うワークロードに、より多くのメモリを割り当てられます。

284BのMoEモデルはどうでしょうか?

エキスパート混合(MoE)モデルは、各トークンの処理でパラメーターの一部だけを有効にするため、同程度のサイズの密なモデルより計算量を抑えられる場合があります。ただし、モデル全体の重みを推論システム上で利用できる状態にしておく必要があります。

MINISFORUM MS-S1 MAX-P495では、Q4量子化のDeepSeek V4 Flash 284B でもテストを実施しています。モデルメモリを約144GB使用し、実測の生成速度は毎秒12.35トークン(tok/s)でした。これは、量子化と共有メモリによって、非常に大規模なMoEモデルを1台のコンパクトなワークステーションで実用可能にできることを示す具体例です。

ベンチマークは、使用したモデルの正確なバージョン、量子化、コンテキスト長、推論エンジン、測定方法とあわせて解釈する必要があります。こうした詳細があれば、読者は結果を再現し、条件をそろえて比較できます。

モデルを選ぶ前に考えておきたいのは、可能な限り多くのパラメーター数が必要なのか、それとも推論品質、コンテキスト長、応答速度のバランスを重視するのか、という点です。ワークフローに最適なモデルとは、要件を満たすモデルであり、必ずしも最大の数値を掲げるモデルではありません。

2. MINISFORUM MS-S1 MAX-P495で160GBのVRAMを割り当てる方法

MS-S1 MAX-P495は、統合メモリアーキテクチャ(UMA)を採用しています。CPUと内蔵Radeonグラフィックスがシステムメモリを共有し、最大160GBをグラフィックスメモリとして割り当てることができます。ローカルでLLM推論を行う場合、BIOSのメモリ設定はシステムの準備における重要な項目です。

ステップ1:BIOSでUMAメモリの割り当てを設定する

P495などのAMDベースのMINISFORUMモデルでは、次の手順で設定します。

1. ワークステーションを再起動し、Deleteキーを押してBIOS Setupに入ります。

2. Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configurationを開きます。

3. iGPU Configurationを選択し、UMA Specifiedに設定します。

4. UMA Frame Buffer Sizeを、160GBなど、ワークロードに必要な容量に設定します。

5. 変更を保存してシステムを再起動します。

Windowsの起動後、グラフィックスソフトウェアと推論ソフトウェアが、割り当てられたメモリを想定どおりに使用できることを確認してください。70Bまたは120Bのモデルでは、オペレーティングシステム、ランタイムバッファ、KVキャッシュ用に十分な余裕を残してください。実行するモデルとコンテキストに応じて割り当て量を選びます。

ステップ2:Windows 11環境を確認する

P495にはWindows 11がプリインストールされているため、オペレーティングシステムを入れ替えたり、Linuxのカーネル設定を変更したりせずに始められます。推論エンジンをインストールする前に、次の点を確認してください。

· 利用可能なWindowsアップデートと、このシステムに対応するAMDグラフィックスドライバー をインストールします。

· モデルのダウンロード用に、SSDの空き容量を十分に確保します。大容量モデルは数十GB、場合によっては100GBを超える容量を使用します。

· 大容量モデルを読み込む前に、不要なメモリ使用量の多いアプリケーションを終了します。

· BIOS設定を変更した後は再起動してから推論ソフトウェアを起動し、GPUバックエンドが使用可能であることを確認します。

このガイドでは、最初の手順としてWindows版Ollamaをおすすめします。より細かく制御したい場合は、Windows対応のllama.cppビルドも利用できます。

3. AMD Ryzen AI Max+ PRO 495に最適な推論エンジンは?Ollamaとllama.cppを比較

Windows 11のデスクトップ環境では、Ollamaを使うと、対応モデルを簡単にダウンロードして実行できます。GGUFモデルファイルやGPUレイヤーのオフロード、コマンドラインパラメーターをより細かく制御したい場合は、llama.cppも有力な選択肢です。どちらが適しているかは、モデル形式と、インストール済みビルドが対応するバックエンドによって異なります。

エンジン

最適なフィット

選ぶ理由

Windows版Ollama

ローカル環境をすばやくセットアップしてモデルを管理

シンプルなモデルコマンドとローカルAPI

Windows向けllama.cpp

GGUFモデルと詳細な推論チューニング

コンテキスト、GPUオフロード、実行時オプションを直接制御

手順1:Ollamaをインストールし、70Bまたは120Bモデルを実行する

Ollamaの公式サイトからWindows版をインストールしてください。インストールが完了したら、PowerShellまたはWindows Terminalを開き、Ollamaライブラリで利用できるモデルのコマンドを実行します。

ollama run llama3.3:70b

より大きなモデルの場合、対応するライブラリエントリーが利用できれば、次の例で120Bクラスのgpt-ossモデルを起動できます。

ollama run gpt-oss:120b

初回の起動時にはモデルがダウンロードされるため、完了まで時間がかかります。事前に利用可能なディスク容量を確認してください。モデルのタグや量子化オプションは変更されることがあるため、大容量のダウンロードを始める前に、ライブラリの最新情報を確認してください。

手順2:Modelfileでコンテキスト長を設定する

Ollamaでは、Modelfileでnum_ctxパラメーターを指定できます。以下の例では、コンテキスト長を8,192トークンに設定したローカル構成を作成します。実行するモデルと処理に合わせて値を調整してください。

FROM gpt-oss:120b

PARAMETER num_ctx 8192

このテキストを、作業フォルダーに「Modelfile」という名前で保存してください。その後、そのフォルダーで次のコマンドを実行します。

ollama create gpt-oss-120b-local -f Modelfile

ollama run gpt-oss-120b-local

コンテキストを長くすると、モデルが一度に考慮できるテキスト量が増えますが、KV Cacheのメモリ使用量も増加します。まずはタスクに適したコンテキスト長を設定し、長い文書や長時間の会話に合わせて調整してください。

手順3:llama.cppで直接制御する

GGUFファイルを使い、実行環境をより直接的に制御したい場合は、対応するGPUバックエンドを備えたWindows互換のllama.cppビルドをインストールしてください。ビルドはプロジェクトの公式リリースからダウンロードし、選んだビルドの手順に従ってください。

互換性のあるGGUFモデルで使う一般的なコマンドラインの書式は次のとおりです。

llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "ローカルLLM推論の仕組みを説明してください。"

-ngl 999オプションは、バックエンドがGPUに配置できるだけ多くのモデルレイヤーをオフロードするよう要求します。実際の配置状況は起動時の出力に表示され、モデルとビルドによって異なります。例のファイルパスは、使用するGGUFモデルの保存場所に置き換えてください。

公平に比較するには、モデルファイル、量子化方式、プロンプト、コンテキスト長、生成設定を統一してください。プロンプト処理速度と生成速度は別々に記録しましょう。これらは推論処理の異なる部分を測定します。

手順4:NPUの役割を理解する

AMD Ryzen™ AI Max+ PRO 495には、最大55 TOPSの性能を持つ専用NPUが搭載されています。これは、プロセッサー全体のAI演算性能とは別の仕様です。NPUアクセラレーションには、対応ソフトウェアと対応処理が必要です。通常のOllamaやllama.cppによるLLM推論が自動的にNPUで実行されるわけではありません。

NPUは、ローカルでの音声処理や互換性のあるAIタスクなど、対応アプリケーションにおいて、メインの推論処理を補完できます。安定した環境を構築するには、すべてのAIアプリケーションが自動的にNPUを使うと決めつけず、実行する処理に対するソフトウェアの対応状況を確認してください。

4. 300B以上および671Bパラメータのモデル向けにMS-S1 MAX-P495をどのように拡張できますか?

数千億のパラメータを持つモデルでは、マルチノード推論によって複数のシステムにモデル処理を分散できます。パラメータあたり4ビットという理想的な条件で保存した671Bモデルは、メタデータ、キャッシュ、実行時のオーバーヘッドを除いて、重みデータだけで約335.5GBになります。複数のシステムに処理を分散すれば、使用可能なメモリ容量を増やせます。

MS-S1 MAX-P495は、デュアル10GbEネットワークとUSB4 V2接続を備えています。llama.cppで利用できる分散機能など、マルチノード推論ソフトウェアを使えば、より大規模なローカルAI環境を構築できます。モデルの配置方法とパフォーマンスは、推論フレームワーク、ネットワーク構成、モデル形式によって異なります。

クラスターを計画して測定する

300B以上のモデルに拡張する前に、想定するワークロードを定め、予定しているノード構成で小規模なモデルをベンチマークしてください。以下を測定します。

· 各ノードでのモデル読み込み時間とピークメモリ使用量。

· プロンプト処理のスループットとトークン生成速度。

· ネットワーク使用率とノード間の通信遅延。

· 想定される同時リクエスト数での応答遅延。

これらの測定値から、メモリ容量、演算能力、ノード間通信のどれがパフォーマンスの制約になっているかを特定できます。また、より大規模なモデルに環境を拡張する際の、再現可能な判断材料にもなります。

5. よくある質問

1. メモリ帯域幅はローカルLLMのトークン生成速度に影響しますか?

はい。トークン生成中、システムはモデルの重みに繰り返しアクセスするため、メモリ帯域幅はメモリ帯域幅がボトルネックとなる処理に大きく影響します。P495のメモリ帯域幅は約273GB/sで、重要なハードウェア仕様のひとつです。ただし、実際のトークン生成速度は、量子化方式、モデルアーキテクチャ、コンテキスト長、推論ソフトウェアにも左右されます。

2. P495の消費電力はマルチGPUサーバーと比べてどうですか?

P495は、大型のマルチGPUワークステーションほどの設置スペースを必要とせず、ローカルAIの処理を実行できるコンパクトなシステムです。MINISFORUMは、この構成の電力を、負荷が持続する場合は120W、ピーク時は160Wとしています。コンセントでの実消費電力は処理内容やシステム設定によって異なるため、同等の条件で測定した数値を比較してください。

3. P495にディスクリートGPUや追加のSSDストレージを増設できますか?

P495は、ディスクリートGPUの増設には対応していません。ストレージの拡張用として、システムにはM.2 SSDスロットが搭載されています。対応するスロット構成とドライブの互換性については、公式製品仕様をご確認ください。複数の大容量モデルファイルを保存する場合は、十分な容量を備えた高速SSDを選ぶと便利です。

4. P495はコンテキストウィンドウが131Kの122Bモデルを実行できますか?

はい。P495は、コンテキストウィンドウが131Kトークンの122Bモデルを実行するデモが行われています。これは、システムの192GBのユニファイドメモリ が、長いコンテキストを必要とする大規模モデルの処理をどのように支えられるかを示す有用な例です。実際のパフォーマンスは、モデル、量子化方式、推論エンジン、テスト構成によって異なります。

5. P495はDeepSeekなどの大規模MoEモデルを実行できますか?

はい。報告されたテストでは、DeepSeek-V4-Flash-0731-UD-Q4_K_XLは12.35 tok/s、Qwen3.8-Flash-Next-GUF-UD_Q4_K_XLは26.48 tok/sを達成しました。これらの数値から、同じワークステーションでも、モデルのアーキテクチャや実装によって生成速度が異なることがわかります。再現可能な比較のため、tok/sの結果と併せてテスト条件、ソフトウェアのバージョン、測定方法を公開してください。

MINISFORUM MS-S1 MAX-P495でローカルAIワークフローを構築

大規模言語モデルをローカルで実行するには、メモリの計画、ソフトウェアの選定、再現可能なテストを組み合わせる必要があります。MINISFORUM MS-S1 MAX-P495は、AMD Ryzen™ AI Max+ PRO 495プロセッサ、192GBのユニファイドメモリ、最大160GBの割り当て可能なVRAMを備え、高負荷のローカルAIワークロード向けに設計されたコンパクトなワークステーションです。

まずBIOSでUMAメモリを設定し、プリインストールされたWindows 11システムに推論エンジンをインストールします。ワークロードに合った量子化モデルを選び、適切なコンテキスト長を設定して、再現可能な条件で生成速度を記録します。70Bモデルから、テスト済みの284B MoEワークロードまで、この手順に沿って進めることで、メモリ容量を実用的なローカルAIワークフローに活用できます。

準備はよろしいですか?MINISFORUM MS-S1 MAX-P495の公式製品ページ で仕様と構成の詳細を確認し、ローカルAIワークステーションについてご検討ください。

グラフィックスのボトルネックを解消:ミニPC向けOCuLink eGPUドック AMD Ryzen AI Max+ PRO 495と従来型ワークステーションを比較:ローカルAIとCADを検証
コメントを残す
日本語 日本語
English English ドイツ語 ドイツ語 スペイン語 スペイン語 フランス語 フランス語 Italiano Italiano 日本語 日本語 韓国語 韓国語 オランダ語 オランダ語 簡体字中国語 簡体字中国語
0
カート
X