GitHub 오픈소스 탐험

최근 인공지능(AI) 기술의 발전은 눈부신 속도로 이루어지고 있습니다. 그중에서도 Bonsai는 텍스트와 비전을 결합하는 혁신적인 언어 모델로 주목받고 있습니다. 이 프로젝트는 특히 사용자들이 AI 모델을 로컬 환경에서 쉽게 사용할 수 있도록 돕는 데 초점을 맞추고 있으며, 다양한 플랫폼에서의 호환성을 제공합니다. 오늘은 Bonsai Demo 프로젝트를 통해 이 흥미로운 AI 모델을 어떻게 설치하고 활용할 수 있는지 알아보겠습니다.

Bonsai Demo의 주요 특징

Bonsai Demo는 다양한 기능을 제공하여 사용자가 텍스트뿐만 아니라 이미지와 PDF 문서에 대해서도 질문하고 답변을 받을 수 있도록 설계되어 있습니다. 이 프로젝트의 주요 특징은 다음과 같습니다:

비전-언어 모델: Bonsai 27B 모델은 이미지와 텍스트를 동시에 처리할 수 있어, 사진이나 스크린샷에 대한 질문을 할 수 있습니다.
도구 호출 기능: OpenAI 스타일의 도구 호출을 지원하여, 실제 도구와의 상호 작용이 가능합니다.
긴 문맥 처리: 256k 이상의 토큰을 처리할 수 있어, 대화의 맥락을 유지하면서 긴 대화도 가능하게 합니다.
경량화: 1-bit Bonsai-27B는 약 1.125비트의 작은 메모리로도 실행 가능하여, 최신 아이폰에서도 부담 없이 사용할 수 있습니다.

설치 및 사용법

Bonsai Demo를 사용하기 위해 필요한 설정과 실행 방법은 다음과 같습니다.

1. 환경 설정

macOS / Linux 사용자의 경우:

git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo

# (선택 사항) 모델 크기 선택: 27B (기본값), 8B, 4B 또는 1.7B
export BONSAI_MODEL=27B

# HuggingFace 토큰 설정 (27B의 경우 필요)
export BONSAI_TOKEN="hf_your_token_here"

# 모든 작업을 한 번에 실행: 의존성 설치, 모델 및 바이너리 다운로드
./setup.sh

Windows (PowerShell) 사용자의 경우:

git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo

# (선택 사항) 모델 크기 선택: 27B (기본값), 8B, 4B 또는 1.7B
$env:BONSAI_MODEL = "27B"

# HuggingFace 토큰 설정 (27B의 경우 필요)
$env:BONSAI_TOKEN = "hf_your_token_here"

# 설치 실행
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\setup.ps1

2. 모델 실행

설치가 완료되면, 아래 명령어를 통해 Bonsai 모델을 실행하고 대화형 환경을 시작할 수 있습니다.

./scripts/start_llama_server.sh

이제 웹 브라우저에서 http://localhost:8080에 접속하여 Bonsai의 기능을 체험할 수 있습니다.

3. 모델 전환

Bonsai는 다양한 모델 크기와 패밀리 간에 쉽게 전환할 수 있습니다. 예를 들어, Ternary-Bonsai 4B 모델을 실행하는 방법은 다음과 같습니다:

# Ternary-Bonsai 4B 실행
BONSAI_FAMILY=ternary BONSAI_MODEL=4B ./scripts/download_models.sh
BONSAI_FAMILY=ternary BONSAI_MODEL=4B ./scripts/run_llama.sh -p "Hello!"

Windows의 경우:

$env:BONSAI_FAMILY="ternary"; $env:BONSAI_MODEL="4B"
.\setup.ps1
.\scripts\run_llama.ps1 -p "Hello!"

실제 활용 시나리오

Bonsai 모델은 다양한 실무 환경에서 활용될 수 있습니다. 예를 들어, 고객 지원 센터에서는 Bonsai를 통해 고객의 문의 사항에 즉시 응답하거나, 제품 설명서와 함께 제공된 이미지에 대한 질문에 답변할 수 있습니다. 또한, 교육 분야에서는 Bonsai를 활용하여 학생들이 이해하기 어려운 개념을 시각적으로 설명하는 데 사용할 수 있습니다.

비슷한 도구와의 비교

Bonsai와 비슷한 도구로는 OpenAI의 GPT-3, Google의 BERT 등이 있습니다. 그러나 Bonsai는 특히 비전-언어 모델링에 강점을 갖추고 있으며, 로컬 실행 가능성과 경량화 덕분에 다양한 환경에서 쉽게 사용할 수 있는 장점이 있습니다.

고급 AI 모델, Bonsai로 단순하게 시작해보세요