GitHub 오픈소스 탐험

최근 인공지능 기술의 발전은 눈부신 속도로 진행되고 있습니다. 특히, Apple Silicon을 지원하는 로컬 LLM(Local Large Language Model) 서버는 많은 관심을 받고 있습니다. 그 중에서도 mlx-serve는 OpenAI와 Anthropic API와 호환되는 강력한 기능을 제공하며, Mac 사용자들에게 최적화된 경험을 선사합니다. 이 프로젝트는 클라우드에 의존하지 않고도 고성능 AI 모델을 실행할 수 있는 가능성을 열어줍니다. 오늘 이 글에서는 mlx-serve의 주요 기능과 설치 방법, 그리고 활용법에 대해 자세히 알아보겠습니다.

mlx-serve란?

mlx-serve는 Apple Silicon을 위한 네이티브 LLM 추론 서버로, MLX 형식뿐만 아니라 Hugging Face의 GGUF 모델도 지원합니다. 이 서버는 OpenAI와 Anthropic API를 지원하는 HTTP API를 기본적으로 제공하여, 사용자가 다양한 AI 클라이언트와 쉽게 연결할 수 있도록 돕습니다. 또한, 텍스트 외에도 이미지, 비디오, 음악, 음성 클로닝, 3D 모델 생성까지 가능한 멀티미디어 기능을 갖추고 있습니다.

주요 특징

다양한 모델 지원: MLX 형식 및 Hugging Face의 GGUF 모델을 지원하여 다양한 LLM을 로컬에서 실행할 수 있습니다.
간편한 설치: Python 설치가 필요 없으며, Homebrew를 통해 손쉽게 설치할 수 있습니다.
GUI 제공: MLX Core라는 macOS 메뉴바 앱을 통해 친숙한 사용자 경험을 제공합니다.
모델 관리: 모델 다운로드와 관리를 UI에서 손쉽게 할 수 있으며, 여러 기능을 손쉽게 사용할 수 있습니다.

설치 및 시작하기

1. MLX Core 앱 사용하기 (추천)

MLX Core는 서명되고 인증된 macOS 메뉴바 앱으로, 서버와 함께 모델 관리, 채팅, 에이전트 모드 등을 제공합니다.

MLX Core 다운로드: 여기서 MLX Core.app 다운로드하기

2. Homebrew를 통한 설치

터미널에서 아래 명령어를 입력하여 MLX Core를 설치할 수 있습니다.

brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install --cask mlx-core   # GUI 설치 (추천)
brew install mlx-serve         # CLI + 서버만 설치

3. CLI 사용하기

터미널을 선호하신다면, CLI를 통해 간단하게 사용할 수 있습니다. 아래는 몇 가지 기본 명령어 예시입니다.

# Gemma 4 E4B 모델을 다운로드하고 실행
mlx-serve run gemma4

# Qwen 3.6 모델 다운로드 (중단 가능한 다운로드)
mlx-serve pull qwen3.6:27b

# 디스크에 저장된 모델 리스트 확인
mlx-serve list

# 모든 모델을 제공
mlx-serve serve

이와 같은 명령어로 쉽게 모델을 관리하고 사용할 수 있습니다.

실무에서의 활용 시나리오

프로토타입 개발: 개발자는 MLX-Serve를 사용하여 로컬에서 AI 모델을 테스트하고 프로토타입을 빠르게 개발할 수 있습니다.
AI 기반 앱 개발: 다양한 API를 활용하여 자연어 처리, 이미지 생성, 음성 인식 등의 기능을 통합한 앱을 만들 수 있습니다.
데이터 분석: MLX-Serve를 통해 대규모 데이터 분석 모델을 구축하고 데이터를 처리하여 인사이트를 도출할 수 있습니다.

비슷한 도구와의 비교

MLX-Serve는 Hugging Face의 Transformers 라이브러리와 비슷한 기능을 제공하지만, Python 환경이 필요하지 않다는 점에서 큰 차별점이 있습니다. 또한, MLX Core의 GUI는 사용자에게 더욱 직관적인 경험을 제공하며, Apple Silicon에서 최적화된 성능을 발휘합니다.

로컬 LLM 서버, mlx-serve는 왜 주목받는가?