인공지능(AI) 기술이 빠르게 발전하면서, 개인의 데이터 프라이버시와 보안을 중시하는 사용자들이 늘어나고 있습니다. 이러한 요구를 충족하기 위해 개발된 오픈소스 프로젝트가 바로 OlliteRT입니다. 이 프로젝트는 사용자의 Android 스마트폰을 OpenAI와 호환되는 대형 언어 모델(LLM) 추론 서버로 변환해 줍니다. 모든 데이터가 로컬에서 처리되므로 클라우드에 의존하지 않고, API 키나 구독 없이도 개인화된 AI 경험을 제공할 수 있습니다.

OlliteRT의 주요 기능

OlliteRT는 다음과 같은 매력적인 기능을 제공합니다:

  • 다양한 모델 지원: HuggingFace에서 모델을 원터치로 다운로드하거나, .litertlm 파일을 가져오고, 로컬 저장소에서 모델 리스트를 불러올 수 있습니다. JSON 파일 또는 URL을 통해 사용자 정의 모델 소스를 추가하는 것도 가능합니다.
  • 멀티모달 및 추론: 비전, 오디오, 사고, 스트리밍 지원 및 도구 호출(실험적) 기능을 갖춘 모델에 대해 다양한 기능을 제공합니다.
  • 내장 벤치마크: 장치에서 모델을 테스트하고 비교하여 하드웨어에 가장 적합한 모델을 찾을 수 있습니다.
  • 활동 로그: 요청/응답의 자세한 로그를 제공하며, 검색, 필터링, JSON 강조 표시 기능을 포함합니다.
  • 저전력, 항상 켜져 있는 서버: 부팅 시 자동 시작 기능을 설정할 수 있으며, 전력 소비는 GPU 서버의 300W 이상에 비해 약 5-10W로 매우 효율적입니다.
  • 고도로 구성 가능: 모델별 추론 설정, GPU/CPU 가속기, 유휴 모델 언로드, 리스너 범위, 클라이언트 IP 접근 규칙, 베어러 토큰 인증 등 다양한 설정을 지원합니다.
  • 모델 및 서버 모니터링: 실시간 통계 대시보드, 이동 가능한 플로팅 모니터, Prometheus 메트릭스 등을 통해 서버 상태를 실시간으로 확인할 수 있습니다.
  • 광범위한 호환성: Home Assistant, Open WebUI, OpenClaw, Python, curl 등 OpenAI와 통신할 수 있는 모든 도구와 호환됩니다.

OlliteRT 설치 및 사용법

OlliteRT를 설치하고 사용하기 위해서는 Android 12 이상의 기기가 필요합니다. 아래 단계에 따라 쉽게 설정할 수 있습니다.

1. GitHub에서 OlliteRT 다운로드

OlliteRT의 최신 릴리스를 GitHub에서 다운로드하세요. 여기서 다운로드하기

2. 앱 설치

다운로드한 APK 파일을 설치합니다. 설치 후, 앱을 실행합니다.

3. 모델 선택 및 시작

앱을 실행하면 사용 가능한 모델 목록이 나옵니다. 원하는 모델을 선택하고, "Start" 버튼을 눌러 LLM 서버를 시작합니다.

4. API 사용

OlliteRT는 OpenAI API와 호환됩니다. 로컬 네트워크에서 HTTP 요청을 통해 LLM에 접근할 수 있습니다. 예를 들어, cURL을 사용하여 간단한 요청을 보내는 방법은 다음과 같습니다:

curl -X POST http://<your_device_ip>:<port>/v1/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "your_model_name",
  "prompt": "당신의 질문을 여기에 입력하세요.",
  "max_tokens": 50
}'

이제 OlliteRT를 통해 제공되는 AI 모델에 질문을 할 수 있습니다.

실무에서 OlliteRT 활용하기

OlliteRT는 다양한 상황에서 유용하게 활용될 수 있습니다. 예를 들어, 개인 비서로 활용하여 일정을 관리하거나, 간단한 고객 지원 챗봇으로 사용할 수 있습니다. 또한, 가정에서 Home Assistant와 연동하여 스마트 디바이스를 제어하는 등의 활용도 가능합니다.

유사 도구와의 비교

OlliteRT는 Ollama와 유사한 기능을 제공하지만, 모바일 기기에서 직접 실행할 수 있다는 점에서 차별화됩니다. 또한, Ollama는 클라우드 기반이기 때문에 데이터 프라이버시와 보안 측면에서 OlliteRT가 더 유리합니다.

마무리 및 추천 대상

OlliteRT는 개인 데이터의 프라이버시를 중시하는 사용자, AI 모델을 로컬에서 실험하고 싶은 개발자, 안드로이드 기기를 활용하여 AI 서비스를 구축하고자 하는 모든 이들에게 추천합니다. GitHub에서 OlliteRT를 다운로드하고, 여러분의 Android 기기를 LLM 서버로 변신시켜 보세요!

OlliteRT GitHub 링크