GitHub 오픈소스 탐험

최근 인공지능(AI)과 머신러닝(ML) 기술이 급격히 발전하면서, 개발자들은 더 많은 도구와 라이브러리를 활용하여 다양한 AI 애플리케이션을 구현하고 있습니다. 특히, Apple Silicon을 사용하는 사용자들 사이에서 로컬 LLM(대규모 언어 모델) 인퍼런스를 위한 솔루션을 찾는 것은 매우 중요한 문제입니다. 이를 해결하기 위해 등장한 것이 바로 mlx-serve입니다. 이 프로젝트는 OpenAI 및 Anthropic API와 호환되는 로컬 인퍼런스 서버로, Python 없이도 쉽게 사용할 수 있는 혁신적인 솔루션입니다.

mlx-serve의 주요 기능

mlx-serve는 Apple Silicon에서 사용할 수 있는 네이티브 LLM 인퍼런스 서버로, 다음과 같은 주요 기능을 제공합니다:

OpenAI 및 Anthropic API 호환성: 표준화된 HTTP API를 통해 기존의 여러 클라이언트와 호환됩니다.
다양한 모델 지원: MLX 형식 모델과 HuggingFace의 GGUF 모델을 지원하며, Qwen, Llama 등 다양한 모델을 쉽게 사용할 수 있습니다.
다양한 멀티미디어 생성: 텍스트 생성뿐만 아니라 이미지, 비디오, 음악 및 음성 클론 생성이 가능합니다.
GUI 및 CLI 지원: MLX Core라는 macOS 메뉴 바 앱과 CLI 서버를 통해 사용자가 편리하게 접근할 수 있습니다.
Zig로 작성된 효율적인 성능: 성능이 매우 뛰어나며, 동일한 MLX 가중치를 사용한 경우 LM Studio보다 빠릅니다.

설치 및 기본 사용법

1. Homebrew를 통한 설치

macOS에서 mlx-serve를 설치하려면, Homebrew를 사용하여 간편하게 설치할 수 있습니다. 아래 명령어를 터미널에 입력하세요.

brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install --cask mlx-core   # GUI 메뉴 바 앱 설치
brew install mlx-serve          # CLI 서버만 설치

2. 기본 사용법

설치가 완료되면, 아래와 같은 간단한 명령어로 LLM을 실행할 수 있습니다.

# 모델 실행: Gemma 4 E4B(4-bit) 모델 다운로드 및 실행
mlx-serve run gemma4        

# Hugging Face에서 모델 다운로드
mlx-serve pull qwen3.6:27b  

# 다운로드된 모델 목록 확인
mlx-serve list              

# 모든 다운로드된 모델을 서빙
mlx-serve serve

위 명령어를 통해 사용자는 쉽게 다양한 모델을 다운로드하고 사용할 수 있습니다. http://localhost:11234를 통해 OpenAI 및 Anthropic API와 호환되는 HTTP 요청을 보낼 수 있습니다.

실무에서의 활용 시나리오

mlx-serve는 다양한 실무 환경에서 활용될 수 있습니다. 예를 들어, 기업의 고객 지원 챗봇 시스템을 구축할 때, mlx-serve를 통해 로컬에서 대규모 언어 모델을 사용하여 고객의 질문에 빠르게 응답할 수 있습니다. 또한, 마케팅 팀은 이미지 및 비디오 생성 기능을 활용하여 소셜 미디어 콘텐츠를 자동으로 생성할 수 있습니다.

이와 같이, mlx-serve는 개발자들이 로컬 환경에서 LLM을 활용하여 더 많은 가능성을 탐색할 수 있도록 돕는 도구입니다.

유사 도구와의 비교

기능	mlx-serve	LM Studio	Ollama	mlx-lm
MLX 모델 (네이티브 Apple)	✅	✅	❌	✅
GGUF 모델 (llama.cpp)	✅ 임베디드	✅	✅	❌
OpenAI 호환 API	✅	✅	일부 호환	❌
Anthropic 메시지 API	✅	🟡 일부 호환	❌	❌
Ollama API (Ollama 클라이언트에 드롭인)	✅	❌	❌

위 표를 통해 mlx-serve가 다른 도구들과 비교했을 때 어떤 점에서 우수한지를 쉽게 확인할 수 있습니다. 특히, 다양한 모델 지원과 API 호환성 측면에서 강점을 가지고 있습니다.

Apple Silicon에서 로컬 LLM 서버를 쉽게 구현하자!