GitHub 오픈소스 탐험

인공지능(AI) 기술이 발전하면서 많은 개발자들이 대형 언어 모델(LLM)을 활용해 다양한 응용 프로그램을 개발하고 있습니다. 특히, Apple Silicon을 사용하는 사용자들은 이러한 LLM을 손쉽게 사용할 수 있는 방법을 모색하고 있습니다. 이번 포스트에서는 mlx-serve라는 오픈소스 프로젝트를 소개합니다. 이 프로젝트는 OpenAI 및 Anthropic API와 호환되는 로컬 LLM 추론 서버로, Python이나 클라우드 없이도 Apple Silicon에서 LLM을 실행할 수 있는 강력한 도구입니다.

mlx-serve의 주요 기능

mlx-serve는 다음과 같은 주요 기능을 제공합니다:

LLM 서버: MLX 및 GGUF 형식의 모델을 지원하여 Hugging Face의 다양한 모델(Qwen, Llama, Mistral 등)을 로컬에서 실행할 수 있습니다.
HTTP API 호환성: OpenAI 및 Anthropic과 호환되는 HTTP API를 제공하여, 다양한 클라이언트와의 통합이 용이합니다.
다양한 생성 기능: 텍스트뿐만 아니라 이미지, 비디오, 음악, 음성(음성 클로닝), 3D 모델 생성이 가능합니다.
GUI 지원: macOS 메뉴 바 앱인 MLX Core와 함께 제공되어, 사용자 친화적인 인터페이스로 모델 탐색 및 관리를 지원합니다.

이러한 기능들은 개발자들이 LLM을 활용하여 더욱 창의적이고 효율적인 애플리케이션을 개발할 수 있게 해줍니다.

설치 방법

1. MLX Core 앱 사용하기 (추천)

가장 간단한 방법은 MLX Core라는 macOS 메뉴 바 앱을 사용하는 것입니다. 이 앱은 서버를 번들로 포함하고 있어, 모델을 탐색하고 다운로드하며, 채팅, 생성 작업을 쉽게 수행할 수 있습니다.

여기에서 MLX Core.app 다운로드

2. Homebrew를 통한 설치

Homebrew를 사용하면 CLI 도구와 함께 MLX Core를 설치할 수 있습니다. 아래 명령어를 실행하세요:

brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install --cask mlx-core   # 앱 설치 (추천)
brew install mlx-serve         # CLI 및 서버만 설치 (GUI 없음)

3. 터미널에서 사용하기

터미널에서 작업하는 것을 선호하신다면, 아래의 명령어로 LLM을 실행할 수 있습니다:

# Gemma 4 E4B 모델 다운로드 및 실행
mlx-serve run gemma4

# Qwen 3.6 모델 다운로드
mlx-serve pull qwen3.6:27b

# 현재 디스크에 있는 모델 목록 확인
mlx-serve list

# 다운로드한 모델을 서빙
mlx-serve serve

이 외에도, 원하는 모델을 직접 지정하여 서버를 실행할 수 있습니다:

# 특정 모델을 지정하여 서버 실행
mlx-serve --model ~/.mlx-serve/models/mlx-community/gemma-4-e4b-it-4bit --serve --port 11234

이 명령어는 특정 모델을 로드하여 지정된 포트에서 서버를 실행합니다.

실무 활용 시나리오

mlx-serve

다른 도구들과의 비교