뉴스 센터

비싼 그래픽 카드를 여러 장 장착한 워크스테이션을 구축하지 않고도 70B 또는 120B 대규모 언어 모델을 로컬에서 실행할 수 있을까요? MINISFORUM MS-S1 MAX-P495 는 이러한 로컬 AI 워크플로를 더 쉽게 이용할 수 있도록 설계되었습니다. AMD Ryzen™ AI Max+ PRO 495 프로세서, 192GB LPDDR5X-8533 통합 메모리, 최대 160GB까지 할당할 수 있는 VRAM을 갖춰 개발자가 소형 워크스테이션에서 대규모 양자화 모델을 실행할 수 있도록 합니다.

사양만큼이나 실제로 어떻게 설정하느냐도 중요합니다. 이 가이드에서는 메모리 계획, BIOS에서 공유 그래픽 메모리 할당, P495에 기본 제공되는 Windows 11 시스템에서 로컬 추론을 시작하는 방법을 설명합니다.

1. MINISFORUM MS-S1 MAX-P495에서 70B 및 120B 파라미터 LLM을 로컬로 실행할 수 있나요?

네. MINISFORUM MS-S1 MAX-P495에서는 적절한 양자화 방식이 적용된 70B 및 120B급 언어 모델을 로컬로 실행할 수 있습니다. 192GB 통합 메모리와 최대 160GB까지 할당할 수 있는 VRAM은 모델 가중치, KV Cache, 추론 버퍼를 위한 넉넉한 용량을 제공합니다. 실제 성능은 모델, 양자화 방식, 컨텍스트 길이, 추론 소프트웨어에 따라 달라집니다.

모델을 다운로드하기 전에 필요한 메모리를 계산하세요

먼저 모델 가중치에 필요한 메모리를 간단히 추정해 보세요.

가중치 메모리 추정치 = 파라미터 수 × 파라미터당 비트 수 ÷ 8

이상적으로 파라미터당 4비트를 사용한다고 가정하면, 700억 파라미터 모델은 가중치만으로 약 35GB가 필요합니다. 동일한 명목 정밀도를 적용한 120B 모델은 약 60GB가 필요합니다. 양자화 형식에는 메타데이터와 스케일 값이 포함되고, 경우에 따라 더 높은 정밀도의 텐서도 포함되므로 실제 모델 파일의 크기는 다를 수 있습니다.

다음 항목에 필요한 메모리도 추가로 고려하세요.

· KV Cache: 활성 컨텍스트 창의 어텐션 데이터를 저장합니다.

· 추론 버퍼와 생성 중 사용하는 임시 텐서

· Windows 11, 백그라운드 애플리케이션, 기타 시스템 프로세스

· 메모리 사용량을 늘릴 수 있는 긴 프롬프트 또는 여러 개의 동시 요청

모델 파일이 사용 가능한 메모리에 들어간다는 것은 계산의 출발점일 뿐, 전체 계산이 끝난 것은 아닙니다. 컨텍스트 길이와 런타임 오버헤드도 고려해야 합니다.

워크스테이션별 메모리 여유 공간 비교

이 표에서는 대략적인 메모리 용량과 실행 가능한 모델을 비교합니다. Q4와 Q8은 일반적인 양자화 수준을 뜻합니다. 정확한 파일 크기와 런타임 메모리 사용량은 모델과 구현 방식에 따라 달라집니다.

워크스테이션 구성

할당 가능 메모리 / 실제 메모리

70B Q4

70B Q8

120B 4분기

MS-S1 MAX (128GB 메모리)

최대 96GB까지 할당 가능한 VRAM

일반적으로 실현 가능합니다

대체로 실행 가능합니다

모델 및 상황에 따라 다름

MS-S1 MAX-P495 (192GB 메모리)

최대 160GB까지 할당 가능한 VRAM

일반적으로 실현 가능합니다

일반적으로 실현 가능합니다

일반적으로 실현 가능합니다

듀얼 GPU 워크스테이션이 자동으로 단일 48GB GPU처럼 작동하는 것은 아닙니다. 모델 배치와 멀티 GPU 지원 여부는 추론 엔진과 시스템 구성에 따라 달라집니다. P495의 장점은 대용량 통합 메모리 풀로, 단일 시스템에서 대형 양자화 모델의 가중치와 긴 컨텍스트 작업을 더 여유롭게 처리할 수 있다는 점입니다.

284B MoE 모델은 어떨까요?

전문가 혼합(MoE) 모델은 토큰마다 파라미터 집합의 일부만 활성화하므로, 비슷한 크기의 밀집 모델보다 연산량을 줄일 수 있습니다. 하지만 전체 모델 가중치는 추론 시스템에서 사용할 수 있어야 합니다.

MINISFORUM MS-S1 MAX-P495는 Q4 양자화를 적용한 DeepSeek V4 Flash 284B 모델로도 테스트되었습니다. 이때 모델 메모리를 약 144GB 사용했으며, 측정된 생성 속도는 초당 12.35토큰(tok/s)이었습니다. 이는 양자화와 통합 메모리를 활용하면 매우 큰 MoE 모델도 소형 워크스테이션 한 대에서 실용적으로 사용할 수 있음을 보여주는 사례입니다.

벤치마크는 항상 정확한 모델 빌드, 양자화, 컨텍스트 길이, 추론 엔진, 측정 방법을 함께 고려해 해석해야 합니다. 이러한 세부 정보가 있어야 독자가 결과를 재현하고 같은 조건끼리 비교할 수 있습니다.

모델을 선택하기 전에 생각해 볼 만한 질문이 있습니다. 가능한 한 많은 파라미터가 필요한가요, 아니면 추론 품질, 컨텍스트 길이, 응답 속도 사이에서 특정한 균형이 필요한가요? 작업 흐름에 가장 적합한 모델은 요구 사항을 충족하는 모델이지, 꼭 가장 큰 수치를 내세우는 모델은 아닙니다.

2. MINISFORUM MS-S1 MAX-P495에서 VRAM 160GB를 할당하는 방법

MS-S1 MAX-P495는 통합 메모리 아키텍처(UMA)를 사용합니다. CPU와 내장 Radeon 그래픽이 시스템 메모리를 공유하며, 최대 160GB를 그래픽 메모리로 할당할 수 있습니다. 로컬 LLM 추론을 위해 시스템을 준비할 때는 BIOS 메모리 설정이 중요합니다.

1단계: BIOS에서 UMA 메모리 할당 설정하기

P495와 같은 AMD 기반 MINISFORUM 모델에서는 다음 경로를 따르세요.

1. 워크스테이션을 다시 시작하고 Delete 키를 눌러 BIOS Setup으로 들어갑니다.

2. Setup → Advanced → AMD CBS → NBIO Common Options → GFX Configuration으로 이동합니다.

3. iGPU Configuration을 선택하고 UMA Specified로 설정합니다.

4. UMA Frame Buffer Size를 160GB 등 작업에 필요한 용량으로 설정합니다.

5. 변경 사항을 저장하고 시스템을 다시 시작합니다.

Windows가 시작되면 그래픽 및 추론 소프트웨어에서 예상한 메모리 할당량을 사용할 수 있는지 확인하세요. 70B 또는 120B 모델을 사용할 때는 운영 체제, 런타임 버퍼 및 KV Cache를 위한 여유 공간을 충분히 남겨 두세요. 실행하려는 모델과 컨텍스트에 맞춰 할당량을 선택하세요.

2단계: Windows 11 환경 확인하기

P495에는 Windows 11이 설치되어 출고되므로 운영 체제를 교체하거나 Linux 커널 설정을 변경하지 않고도 바로 시작할 수 있습니다. 추론 엔진을 설치하기 전에 다음을 확인하세요.

· 사용 가능한 Windows 업데이트와 시스템에서 지원하는 AMD 그래픽 드라이버 를 설치합니다.

· 모델을 다운로드할 SSD 공간을 충분히 확보합니다. 대형 모델은 수십 GB에서 100GB가 넘는 공간을 차지할 수 있습니다.

· 대형 모델을 불러오기 전에 메모리를 많이 사용하는 불필요한 애플리케이션을 종료합니다.

· BIOS 설정을 변경한 뒤 시스템을 다시 시작하고, 추론 소프트웨어를 실행해 GPU 백엔드를 사용할 수 있는지 확인합니다.

이 가이드에서는 첫 단계로 Windows용 Ollama를 권장합니다. 좀 더 직접적으로 제어하려는 사용자는 Windows 호환 llama.cpp 빌드를 사용할 수도 있습니다.

3. AMD Ryzen AI Max+ PRO 495에 가장 적합한 추론 엔진은 무엇일까요? Ollama와 llama.cpp 중 어느 쪽일까요?

Windows 11 데스크톱 작업 환경에서는 Ollama를 사용하면 지원되는 모델을 간편하게 다운로드하고 실행할 수 있습니다. GGUF 모델 파일, GPU 레이어 오프로딩, 명령줄 매개변수를 더 세밀하게 제어하고 싶은 사용자에게는 llama.cpp가 좋은 대안입니다. 어떤 제품이 적합한지는 모델 형식과 설치된 빌드에서 지원하는 백엔드에 따라 달라집니다.

엔진

가장 잘 맞는

왜 선택해야 할까요

Windows용 Ollama

빠른 로컬 설정 및 모델 관리

간단한 모델 명령어와 로컬 API

Windows용 llama.cpp

GGUF 모델 및 세부 추론 튜닝

컨텍스트, GPU 오프로딩 및 런타임 옵션을 직접 제어

1단계: Ollama를 설치하고 70B 또는 120B 모델 실행하기

공식 웹사이트에서 Windows용 Ollama를 설치하세요. 설치가 완료되면 PowerShell 또는 Windows 터미널을 열고 Ollama 라이브러리에서 사용할 수 있는 모델의 명령어를 실행하세요.

ollama run llama3.3:70b

해당 라이브러리 항목을 사용할 수 있다면, 다음 예시처럼 120B급 gpt-oss 모델을 실행할 수 있습니다.

ollama run gpt-oss:120b

처음 실행할 때 모델을 다운로드하므로 다운로드가 완료될 때까지 기다리세요. 미리 사용 가능한 디스크 공간을 확인하세요. 모델 태그와 양자화 옵션은 변경될 수 있으므로 대용량 다운로드를 시작하기 전에 최신 라이브러리 항목을 확인하세요.

2단계: Modelfile로 컨텍스트 길이 설정하기

Ollama는 Modelfile에서 num_ctx 매개변수를 지원합니다. 아래 예시는 컨텍스트 길이를 8,192 토큰으로 설정하는 로컬 구성을 만듭니다. 실행하려는 모델과 작업에 맞게 값을 조정하세요.

FROM gpt-oss:120b

PARAMETER num_ctx 8192

작업 폴더에 Modelfile이라는 이름으로 이 텍스트를 저장하세요. 그런 다음 해당 폴더에서 다음 명령을 실행하세요.

ollama create gpt-oss-120b-local -f Modelfile

ollama run gpt-oss-120b-local

컨텍스트를 늘리면 모델이 한 번에 고려할 수 있는 텍스트의 양이 많아질 수 있지만, KV Cache 메모리 사용량도 늘어납니다. 작업에 적합한 컨텍스트 길이로 시작한 다음, 긴 문서나 장시간 대화에 맞게 조정하세요.

3단계: llama.cpp로 직접 제어하기

GGUF 파일을 사용하고 런타임을 더 직접적으로 제어하려면 지원되는 GPU 백엔드를 포함한 Windows 호환 llama.cpp 빌드를 설치하세요. 프로젝트의 공식 릴리스에서 빌드를 다운로드하고 선택한 빌드의 안내를 따르세요.

호환되는 GGUF 모델에 사용하는 일반적인 명령줄 형식은 다음과 같습니다.

llama-cli.exe -m "D:\Models\model.gguf" -ngl 999 -c 8192 -p "로컬 LLM 추론의 작동 방식을 설명하세요."

-ngl 999 옵션은 백엔드가 GPU에 배치할 수 있는 최대한 많은 모델 레이어를 오프로딩하도록 요청합니다. 실제 배치 결과는 시작 시 출력되는 정보에 표시되며 모델과 빌드에 따라 달라집니다. 예시 파일 경로를 사용 중인 GGUF 모델의 경로로 바꾸세요.

공정하게 비교하려면 모델 파일, 양자화, 프롬프트, 컨텍스트 길이 및 생성 설정을 동일하게 유지하세요. 프롬프트 처리 속도와 생성 속도를 따로 기록하세요. 두 속도는 추론 작업의 서로 다른 부분을 측정합니다.

4단계: NPU의 역할 이해하기

AMD Ryzen™ AI Max+ PRO 495에는 최대 55 TOPS 성능의 전용 NPU가 포함되어 있습니다. 이는 프로세서의 총 AI 연산 성능과는 별개의 사양입니다. NPU 가속을 사용하려면 호환되는 소프트웨어와 지원되는 작업이 필요하며, 일반적인 Ollama 또는 llama.cpp LLM 추론이 자동으로 NPU에서 실행되지는 않습니다.

NPU는 로컬 음성 처리나 기타 호환되는 AI 작업처럼 지원되는 애플리케이션에서 주요 추론 작업을 보완할 수 있습니다. 안정적으로 설정하려면 모든 AI 애플리케이션이 자동으로 NPU를 사용한다고 가정하지 말고, 해당 작업에 대한 소프트웨어 지원 여부를 확인하세요.

4. 300B+ 및 671B 파라미터 모델을 위해 MS-S1 MAX-P495를 어떻게 확장할 수 있나요?

수천억 개의 파라미터를 가진 모델의 경우, 멀티 노드 추론을 통해 여러 시스템에 모델 작업을 분산할 수 있습니다. 파라미터당 4비트로 단순 계산하면 671B 모델의 원시 가중치 데이터는 메타데이터, 캐시 및 런타임 오버헤드를 제외하고 약 335.5GB입니다. 여러 시스템에 작업을 분산하면 메모리 용량을 늘릴 수 있습니다.

MS-S1 MAX-P495에는 듀얼 10GbE 네트워킹과 USB4 V2 연결 기능이 포함되어 있습니다. llama.cpp에서 제공하는 분산 기능을 비롯한 멀티 노드 추론 소프트웨어를 사용해 더 큰 규모의 로컬 AI 환경을 구축할 수 있습니다. 정확한 모델 배치와 성능은 추론 프레임워크, 네트워크 구성 및 모델 형식에 따라 달라집니다.

클러스터를 계획하고 측정하기

300B+ 모델로 확장하기 전에 사용하려는 작업을 정의하고, 계획한 노드 전체에서 더 작은 모델의 성능을 벤치마크하세요. 다음 항목을 측정하세요.

· 각 노드의 모델 로딩 시간과 최대 메모리 사용량.

· 프롬프트 처리 처리량과 토큰 생성 속도.

· 네트워크 사용률과 통신 지연 시간.

· 예상 동시 요청 수에 따른 응답 지연 시간.

이러한 측정값을 통해 메모리 용량, 연산 성능 또는 노드 간 통신 중 무엇이 성능을 제한하는지 파악할 수 있습니다. 또한 더 큰 모델로 환경을 확장할 때 재현 가능한 기준을 마련할 수 있습니다.

5. 자주 묻는 질문

1. 메모리 대역폭이 로컬 LLM의 토큰 생성 속도에 영향을 주나요?

네. 토큰을 생성하는 동안 시스템은 모델 가중치에 반복적으로 접근하므로 메모리 대역폭은 메모리 병목이 발생하는 워크로드에 큰 영향을 줄 수 있습니다. P495의 약 273GB/s 메모리 대역폭은 중요한 하드웨어 사양이지만, 실제 토큰 생성 속도는 양자화 방식, 모델 아키텍처, 컨텍스트 길이, 추론 소프트웨어에 따라서도 달라집니다.

2. P495의 전력 소비량은 멀티 GPU 서버와 비교해 어떤가요?

P495는 대형 멀티 GPU 워크스테이션만큼 공간을 차지하지 않으면서 로컬 AI 워크로드를 실행하도록 설계된 소형 시스템입니다. MINISFORUM은 이 구성의 지속 부하 전력을 120W, 최대 전력을 160W로 명시합니다. 실제 소비 전력은 워크로드와 시스템 설정에 따라 달라지므로 동일한 조건에서 측정한 값을 비교하세요.

3. P495에 외장 GPU를 추가하거나 SSD 저장 공간을 확장할 수 있나요?

P495는 외장 GPU 확장을 지원한다고 홍보하지 않습니다. 저장 공간 확장을 위해 시스템에는 M.2 SSD 슬롯이 제공됩니다. 지원되는 슬롯 구성과 드라이브 호환성은 공식 제품 사양을 확인하세요. 여러 개의 대형 모델 파일을 저장하려면 충분한 용량의 빠른 SSD를 선택하는 것이 좋습니다.

4. P495에서 131K 컨텍스트 윈도우로 122B 모델을 실행할 수 있나요?

네. P495는 131K 토큰 컨텍스트 윈도우에서 122B 모델을 실행하는 모습이 시연된 바 있습니다. 이는 시스템의 192GB 통합 메모리 가 긴 컨텍스트를 사용하는 대형 모델 워크로드를 어떻게 지원할 수 있는지 보여주는 유용한 사례입니다. 실제 성능은 모델, 양자화 방식, 추론 엔진, 테스트 구성에 따라 달라집니다.

5. P495에서 DeepSeek 및 기타 대규모 MoE 모델을 실행할 수 있나요?

네. 공개된 테스트에서 DeepSeek-V4-Flash-0731-UD-Q4_K_XL은 12.35 tok/s를 기록했고, Qwen3.8-Flash-Next-GUF-UD_Q4_K_XL은 26.48 tok/s를 기록했습니다. 이 수치는 동일한 워크스테이션에서도 모델 아키텍처와 구현 방식에 따라 생성 속도가 달라질 수 있음을 보여줍니다. 재현 가능한 비교를 위해 tok/s 결과와 함께 테스트 컨텍스트, 소프트웨어 버전, 측정 방법을 공개하세요.

MINISFORUM MS-S1 MAX-P495로 로컬 AI 워크플로 구축하기

대규모 언어 모델을 로컬에서 실행하려면 메모리 계획, 소프트웨어 선택, 반복 가능한 테스트가 모두 필요합니다. MINISFORUM MS-S1 MAX-P495는 AMD Ryzen™ AI Max+ PRO 495 프로세서, 192GB 통합 메모리, 최대 160GB 할당 가능 VRAM을 갖추었으며, 까다로운 로컬 AI 작업 부하를 위해 설계된 소형 워크스테이션입니다.

먼저 BIOS에서 UMA 메모리를 구성한 다음, 사전 설치된 Windows 11 시스템에 추론 엔진을 설치하세요. 작업 부하에 맞는 양자화 모델을 선택하고, 적절한 컨텍스트 길이를 설정한 후, 반복 가능한 조건에서 생성 속도를 기록하세요. 70B 모델부터 테스트된 284B MoE 작업 부하까지, 이 단계별 접근 방식은 메모리 용량을 실용적인 로컬 AI 워크플로로 전환하는 데 도움이 됩니다.

시작할 준비가 되셨나요? MINISFORUM MS-S1 MAX-P495 공식 제품 페이지 에서 사양과 구성 세부 정보를 확인하고 로컬 AI 워크스테이션을 살펴보세요.

그래픽 성능 병목 해소: 미니 PC용 OCuLink eGPU 도크 AMD 라이젠 AI Max+ PRO 495 대 기존 워크스테이션: 로컬 AI 및 CAD 테스트 완료
댓글 제출
English English
English English 독일어 독일어 스페인어 스페인어 프랑스어 프랑스어 Italiano Italiano 日本語 日本語 한국어 한국어 네덜란드어 네덜란드어 간체중문 간체중문
0
장바구니
X