NVIDIA Dynamo 레시피로 한국 오픈 모델 4종 B200 최적화 — A.X K2, K-EXAONE 2.0, Solar Open 2, Motif 3 배포 가이드

"NVIDIA는 한국의 주요 오픈 모델인 SK텔레콤의 A.X K2, LG AI연구원의 K-EXAONE 2.0, 업스테이지의 Solar Open 2, Motif Technologies의 Motif-3를 위한 Dynamo 최적화 배포 레시피를 공개합니다. NVIDIA B200 GPU에 최적화된 이 레시피는 개발자가 모델을 더 빠르게 실제 서비스에 적용할 수 있도록 지원합니다."

"레시피는 연산량과 메모리, 문맥 처리 요구사항이 서로 다른 네 가지 전문가 혼합(Mixture-of-Experts, MoE) 모델을 지원합니다." / "A.X K2는 전체 688B 파라미터 중 토큰당 33B를 활성화하는 MoE 모델입니다. 256개의 routed expert 중 8개를 선택하고 shared expert도 사용합니다. Sparse Gated Attention은 Multi-head Latent Attention(MLA)을 기반으로..." / "K-EXAONE 2.0은 전체 750B급, 토큰당 활성 37B 파라미터를 갖춘 MoE 모델입니다. 전역 어텐션과 슬라이딩 윈도 어텐션을 결합하며..." / "Solar Open 2는 전체 250B 파라미터 중 토큰당 15B를 활성화하는 하이브리드 MoE 모델입니다. 48개 레이어 중 12개는 GQA 기반 softmax attention, 36개는 KDA linear attention을 사용하며..." / "Motif 3는 전체 314B 파라미터 중 토큰당 13.2B를 활성화하는 MoE 모델입니다. 384개의 routed expert 중 8개를 선택하고 shared expert도 사용합니다. Grouped Differential Latent Attention(GDLA)은 grouped differential attention과 Multi-head Latent Attention(MLA)의 압축 KV latent를 결합하며..."

"새로운 레시피는 Dynamo에 NVFP4 체크포인트와 vLLM, 모델별 최적화를 결합해 배포 과정의 시행착오를 줄입니다." / "NVFP4 가중치는 모델의 메모리 요구량을 줄이고, FP8 KV 캐시는 생성 중 문맥을 유지하는 데 필요한 메모리를 줄입니다." / "NVIDIA Dynamo는 여러 GPU와 노드에 걸친 추론을 조율합니다. 이번 레시피에서 모델 실행은 vLLM이 담당하고, Dynamo는 요청 배치와 분리된 prefill·decode 워커를 조율합니다."

"A.X K2는 전체 688B 파라미터 중 토큰당 33B를 활성화하는 MoE 모델입니다. 256개의 routed expert 중 8개를 선택하고 shared expert도 사용합니다. Sparse Gated Attention은 Multi-head Latent Attention(MLA)을 기반으로 긴 문맥 처리에 사용할 KV 후보를 선택하며, 최대 256K 토큰의 문맥을 지원합니다." / "레시피는 skt/A.X-K2-NVFP4와 전용 draft 모델인 skt/A.X-K2-EAGLE3를 함께 사용합니다. Routed expert는 NVFP4 W4A4, 어텐션·라우터·shared expert·dense layer는 FP8, 임베딩과 LM head는 BF16을 사용합니다. KV 캐시는 FP8입니다." / "A.X K2: B200 GPU 8대, 동시성 16. Synthetic EAGLE3 acceptance length 2.12에서 76.49 tok/s/GPU를 측정했습니다. 평균 사용자 출력 속도는 55.83 tok/s, p50 TTFT는 525ms였습니다."

"K-EXAONE 2.0은 전체 750B급, 토큰당 활성 37B 파라미터를 갖춘 MoE 모델입니다. 전역 어텐션과 슬라이딩 윈도 어텐션을 결합하며 최대 256K 토큰의 문맥을 지원합니다. 레시피는 LGAI-EXAONE/K-EXAONE-2.0-750B-A37B-NVFP4와 FP8 KV 캐시를 사용합니다. 내장 Multi-Token Prediction(MTP)을 draft length 2로 실행해 여러 후보 토큰을 함께 검증합니다." / "권장 aggregated 프로파일은 B200 GPU 4대에서 TP4를 사용합니다. 약 530GB의 가중치는 TP2에 적재되지 않으며, 레시피 테스트에서는 TP8의 추가 통신으로 GPU당 효율이 낮아졌습니다." / "MoE 백엔드는 FLASHINFER_CUTLASS로 고정합니다. 레시피에는 이 체크포인트에서 자동 선택 기능이 FLASHINFER_TRTLLM을 선택할 경우 장문 생성의 정확성 문제가 발생한다고 명시되어 있습니다." / "K-EXAONE 2.0: B200 GPU 4대, 동시성 7. 사용자별 E2E 처리량은 51.4 tok/s, p50 TTFT는 291ms였습니다. 문맥 한도를 초과한 요청 38개는 지표에서 제외했으며, 실측 KV 재사용률은 8.8%였습니다."

"Solar Open 2는 전체 250B 파라미터 중 토큰당 15B를 활성화하는 하이브리드 MoE 모델입니다. 48개 레이어 중 12개는 GQA 기반 softmax attention, 36개는 KDA linear attention을 사용하며 최대 1M 토큰의 문맥을 지원합니다. 레시피는 nota-ai/Solar-Open2-250B-Nota-NVFP4를 사용합니다. aggregated 프로파일은 B200 GPU 4대에 TP2 워커 두 개를 배치하고, FP8 KV 캐시와 KV-aware 라우팅을 적용해 프롬프트와 대화 이력을 재사용합니다." / "disaggregated 프로파일은 TP4 prefill 워커 한 개와 TP2 decode 워커 두 개를 사용합니다. Prefill 워커가 하나이므로 프런트엔드는 round-robin 라우팅을 사용합니다. Prefill과 decode 사이에서 KDA 상태를 전달하려면 VLLM_SSM_CONV_STATE_LAYOUT=DS가 필요합니다." / "Solar Open 2: B200 GPU 4대, 동시성 20. 사용자 출력 속도 p50은 52.02 tok/s, p50 TTFT는 308ms였습니다. 실행 전에 서버 측 KV 캐시를 초기화하지 않았으므로 이전 캐시 상태가 결과에 영향을 줄 수 있습니다."

"Motif 3는 전체 314B 파라미터 중 토큰당 13.2B를 활성화하는 MoE 모델입니다. 384개의 routed expert 중 8개를 선택하고 shared expert도 사용합니다. Grouped Differential Latent Attention(GDLA)은 grouped differential attention과 Multi-head Latent Attention(MLA)의 압축 KV latent를 결합하며, 최대 256K(262,144) 토큰의 문맥을 지원합니다." / "이러한 전용 구성요소 때문에 런타임 호환성을 먼저 고려해야 합니다. Motif의 공개 vLLM 포크는 MoE 레이어용 grouped PolyNorm 활성화 커널 등 Motif 전용 CUDA 커널을 컴파일하므로, 모델 코드를 기본 vLLM 설치에 단순 패치하는 방식으로는 적용할 수 없습니다. 레시피는 Motif가 공개한 vLLM 이미지를 기반으로 구축한 런타임 이미지(nvcr.io/nvidia/ai-dynamo/vllm-runtime:1.5.0-motif-3-dev.2)에서 Dynamo 1.5.0을 실행합니다." / "Motif 3: B200 GPU 2대, 동시성 11. Synthetic MTP acceptance length 2.13에서 293.96 tok/s/GPU를 측정했습니다. 사용자 출력 속도 p50은 66.27 tok/s, p50 TTFT는 388ms였습니다." / "Motif 3의 표에 표시한 319.26 output tok/s/GPU는 B200 GPU 8대를 사용하는 3P1D disaggregated 구성의 결과입니다. 최적화된 aggregated 구성의 결과는 293.96 output tok/s/GPU입니다. 각각의 벤치마크 운영점에서 disaggregated의 GPU당 처리량이 약 8.6% 높았으며, 3.67배는 별도 baseline 대비 disaggregated 결과의 개선 배율입니다."

"B200에서 모델별 baseline 대비 GPU당 출력 처리량은 aggregated 구성의 A.X K2에서 약 1.72배, K-EXAONE 2.0에서 약 1.58배, Solar Open 2에서 약 1.43배, disaggregated 구성의 Motif 3에서 약 3.67배로 증가했습니다." / "Baseline은 같은 모델의 NVFP4 체크포인트를 Dynamo와 vLLM에서 실행하며, 모델 적재에 필요한 최소 TP와 round-robin 라우팅을 사용합니다. 실행에 필요한 호환성 패치는 baseline에도 포함하고, 워커 replica 수는 최적화 레시피에 맞춥니다. 비교 지표는 GPU당 출력 처리량입니다." / "개선율은 사용자별 생성 속도 50 tok/s 이상과 p50 TTFT 5초 미만이라는 SLA를 기준으로 측정한 GPU당 출력 처리량을 나타냅니다. 각 모델의 처리량은 해당 지연 시간 목표와 함께 평가하세요."

"각 레시피는 모델별 체크포인트와 런타임 이미지, 병렬화 전략, KV 캐시 정밀도, 라우팅, speculative decoding, 파서, 커널을 하나의 조합으로 고정합니다. 배포와 실행 동작을 재현할 수 있도록 다음 항목도 제공합니다."

"다음 다섯 단계로 레시피를 배포하고 검증할 수 있습니다. 1. 인프라와 접근 권한 준비... 2. 공유 스토리지와 모델 캐시 구성... 3. 서빙 토폴로지 배포... 4. 기능과 전송 경로 확인... 5. 애플리케이션 트래픽으로 성능 검증..."

"튜닝 전에 공개 레시피를 먼저 재현하세요. 모델과 런타임, 평가 요청을 고정한 뒤 TP와 replica, 캐시와 라우팅, speculative decoding 등 설정 그룹을 한 번에 하나씩 바꿉니다. 기능 검증을 통과한 구성만 비교하고, 각 측정은 동일 조건에서 반복해야 합니다." / "모델의 제약은 튜닝 범위를 결정합니다. A.X K2에서는 실제 EAGLE3 수락 동작을 측정하고, K-EXAONE 2.0에서는 검증된 MoE 백엔드와 MTP 설정을 유지해야 합니다. Solar Open 2에서는 FP8 KV 캐시와 KDA 상태 레이아웃의 호환성을 유지하고, Motif 3는 Motif vLLM 런타임 이미지에서 실행해야 합니다."

"워크로드의 병목과 서비스 목표를 바탕으로 초기 구성을 선택하세요. 공개된 워크로드와 유사한 조건에서는 K-EXAONE 2.0과 Solar Open 2가 우선 구성으로 제시하는 aggregated 프로파일로 시작하세요. 배포가 더 단순하며, 두 모델의 공개 측정에서는 disaggregated보다 낮은 TTFT를 보였습니다." / "Prefill과 decode를 독립적으로 확장해야 한다면 disaggregated 프로파일을 평가하세요... disaggregated 배포에서는 레시피의 RDMA 리소스 이름(rdma/ib 또는 rdma/shared_ib)을 클러스터의 device plugin과 일치시키세요. 장치 할당뿐 아니라 NIXL/UCX 전송이 실제로 InfiniBand를 사용하는지도 확인해야 합니다."

"Dynamo 지표와 구조화 로그, 분산 trace를 연계하면 요청 처리 경로에서 변화가 발생한 지점을 찾을 수 있습니다. TTFT가 증가하면 대기열과 prefill을, ITL이 증가하면 decode 부하와 KV 캐시 사용률을 확인하세요. 하나의 신호로 원인을 판단하기 전에 같은 부하와 시간 구간을 비교해야 합니다." / "라우터가 추정한 prefix 중복률과 엔진의 실제 KV 재사용률을 구분하세요. disaggregated에서는 선택적 NIXL 텔레메트리로 전송을 살펴볼 수 있으며, UCX 로그로 InfiniBand 경로를 확인할 수 있습니다."