GitHub 오픈소스 탐험

최근 인공지능(AI) 기술의 발전으로, 로컬 환경에서 대규모 언어 모델(LLM)을 실행하려는 수요가 급증하고 있습니다. 특히, Apple Silicon을 사용하는 개발자들 사이에서는 클라우드 기반의 솔루션보다 더 빠르고 효율적인 방법을 찾고 있습니다. 이러한 요구를 충족시키기 위해 등장한 프로젝트가 바로 mlx-serve입니다. 이 프로젝트는 OpenAI와 Anthropic API에 호환되는 LLM 추론 서버로, Python 없이도 로컬에서 강력한 기능을 제공합니다.

mlx-serve의 주요 기능

mlx-serve는 다음과 같은 주요 기능을 제공합니다:

로컬 LLM 실행: MLX 포맷 모델과 HuggingFace의 GGUF 모델을 모두 지원하여, 다양한 모델을 로컬에서 실행할 수 있습니다.
API 호환성: OpenAI와 Anthropic의 HTTP API를 기본으로 제공하여, 기존의 다양한 도구와 호환이 가능합니다. 이를 통해 개발자는 손쉽게 기존의 워크플로우를 유지할 수 있습니다.
멀티미디어 생성: 텍스트뿐 아니라 이미지, 비디오, 음악, 음성(음성 클로닝), 3D 모델까지 생성할 수 있어, 다양한 분야에서 활용 가능합니다.
macOS 전용 GUI: MLX Core라는 macOS 전용 메뉴바 앱이 제공되어, 사용자 친화적인 인터페이스로 쉽게 모델을 관리하고 사용할 수 있습니다.

![mlx-serve](docs/assets/mlx-serve-header.png)

설치 가이드

Homebrew를 이용한 설치

mlx-serve는 Homebrew를 통해 간편하게 설치할 수 있습니다. 아래의 명령어를 터미널에 입력해 주세요:

brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install --cask mlx-core   # GUI 메뉴바 앱 설치
brew install mlx-serve          # CLI 서버 설치

이제 서버를 실행할 준비가 되었습니다!

기본 사용법

서버를 실행하기 위한 몇 가지 기본 명령어를 소개합니다:

# Gemma 4 모델 다운로드 및 실행
mlx-serve run gemma4

# Hugging Face에서 Qwen 3.6 모델 다운로드
mlx-serve pull qwen3.6:27b

# 디스크에 저장된 모델 리스트 확인
mlx-serve list

# 서버 실행 (저장된 모든 모델을 로드)
mlx-serve serve

mlx-serve는 org/repo 형식의 HuggingFace ID와 name:tag 형식을 모두 지원합니다. 또한, Ollama API와 호환되기 때문에 Ollama에 연결된 기존 도구들도 계속해서 사용할 수 있습니다.

실무에서의 활용 시나리오

mlx-serve를 활용하면 다양한 분야에서 효율성을 높일 수 있습니다. 예를 들어, 대화형 AI 챗봇을 개발할 때, 로컬에서 LLM을 실행하여 사용자와의 실시간 대화를 처리할 수 있습니다.

다른 시나리오로는, 이미지 생성 모델을 사용하여 제품 디자인을 자동으로 생성할 수 있습니다. 비즈니스 회의에서 필요한 자료를 자동으로 작성하거나, 고객 지원 챗봇을 통해 24시간 지원 서비스를 제공할 수 있습니다.

기존 도구와의 비교

mlx-serve	LM Studio	Ollama	mlx-lm
MLX 모델 (Apple 네이티브)	✅	✅	❌	✅
GGUF 모델 (llama.cpp)	✅ 내장	✅	✅	❌
OpenAI 호환 API	✅	✅	부분적	❌
Anthropic 메시지 API	✅	🟡 부분적²	❌	❌
Ollama API 호환	✅	❌

이 표를 통해 mlx-serve가 다른 도구들과 비교했을 때 어떤 장점을 가지고 있는지 쉽게 확인할 수 있습니다.

Apple Silicon에서 LLM을 손쉽게 활용할 수 있는 방법은?