GitHub 오픈소스 탐험

최근 웹 스크래핑과 자동화의 필요성이 점점 증가하면서, 개발자들은 강력한 도구를 찾고 있습니다. 특히 AI 에이전트가 진짜 웹을 탐색해야 할 필요성이 커지면서, 기존의 브라우저는 여러 가지 문제에 직면하게 됩니다. 여기에서 소개할 프로젝트 Camofox Browser는 이러한 문제를 해결하기 위해 개발된 스텔스 헤드리스 브라우저입니다. 이 브라우저는 Cloudflare 및 다양한 봇 감지 시스템을 우회할 수 있는 기능을 제공합니다. 이제 이 강력한 도구를 사용하는 방법을 자세히 알아보겠습니다.

Camofox Browser란 무엇인가?

Camofox Browser는 AI 에이전트를 위한 안티 감지 브라우저 서버입니다. 이 브라우저는 Cloudflare를 우회하고, 다양한 봇 감지 시스템을 회피할 수 있도록 설계되었습니다. Puppeteer나 Playwright와 같은 기존의 헤드리스 브라우저를 대체할 수 있는 Drop-in 솔루션으로, 개발자가 웹 자동화 작업을 수행하는 데 필요한 다양한 기능을 제공합니다.

왜 Camofox Browser를 선택해야 할까?

C++ Anti-Detection: 브라우저의 다양한 속성을 C++ 레벨에서 조작하여, Google과 Cloudflare를 비롯한 대부분의 봇 감지를 우회합니다.
안정적인 요소 참조: 클릭 및 상호작용을 위한 안정적인 요소 식별자가 제공되어, 웹 페이지에서의 작업이 더욱 원활해집니다.
토큰 효율성: 접근성 스냅샷이 원시 HTML보다 평균 90% 작기 때문에 데이터 전송비용을 절감할 수 있습니다.
가벼운 메모리 사용: 실행 시 메모리 사용량이 약 40MB로 유지되며, Raspberry Pi와 저렴한 VPS에서도 원활하게 작동합니다.
세션 격리: 사용자별로 별도의 쿠키 및 저장소를 사용합니다.
구성 가능한 프로토콜: VNC를 통해 시각적으로 사이트에 로그인하고, 이후 스토리지를 내보낼 수 있는 기능도 제공합니다.

설치 및 기본 사용법

이제 Camofox Browser를 설치하고 사용하는 방법을 살펴보겠습니다. 아래의 간단한 단계로 시작할 수 있습니다.

1. 저장소 클론하기

먼저 GitHub에서 프로젝트를 클론합니다. 터미널을 열고 아래 명령어를 입력하세요.

git clone https://github.com/jo-inc/camofox-browser && cd camofox-browser

2. 의존성 설치하기

프로젝트 디렉토리로 이동한 후, npm을 사용하여 의존성을 설치합니다.

npm install

3. 서버 시작하기

이제 Camofox Browser 서버를 시작합니다. 아래 명령어를 입력하세요.

npm start

서버가 실행되면, 웹 브라우저에서 http://localhost:9377로 이동하여 API를 사용할 수 있습니다.

기본 사용 시나리오

Camofox Browser는 다양한 사용 사례에 활용될 수 있습니다. 예를 들어, 다음과 같은 작업을 수행할 수 있습니다.

1. 데이터 스크래핑

Camofox Browser를 사용하여 특정 웹사이트에서 데이터를 수집할 수 있습니다. API를 통해 특정 페이지의 접근성 스냅샷을 요청하고, 필요한 데이터를 추출할 수 있습니다. 예를 들어, Google 검색 결과를 가져오는 방법은 다음과 같습니다.

const axios = require('axios');

async function fetchGoogleSearchResults(query) {
    const response = await axios.post('http://localhost:9377/tabs', {
        action: 'navigate',
        url: https://www.google.com/search?q=${query}
    });
    return response.data;
}

fetchGoogleSearchResults('Camofox Browser').then(console.log);

2. YouTube 캡션 추출

Camofox Browser는 YouTube 비디오의 자막을 추출하는 기능도 지원합니다. 아래와 같이 API를 호출하여 자막을 얻을 수 있습니다.

async function fetchYouTubeCaptions(videoId) {
    const response = await axios.post(http://localhost:9377/tabs, {
        action: 'youtube_extract',
        videoId: videoId
    });
    return response.data;
}

fetchYouTubeCaptions('VIDEO_ID_HERE').then(console.log);

이제 Camofox Browser를 통해 필요한 데이터를 쉽게 추출할 수 있습니다.

비슷한 도구와의 비교

Camofox Browser는 Puppeteer와 Playwright와 같은 기존 도구들과 비교할 때, 특히 봇 감지 우회에 강점을 가지고 있습니다. Puppeteer는 Chrome 기반의 브라우저를 사용하기 때문에, 감지 시스템에 쉽게 노출될 수 있습니다. 반면, Camofox Browser는 C++ 레벨에서 브라우저 속성을 조작하여 더욱 효과적으로 감지를 회피합니다.

AI 에이전트를 위한 스텔스 브라우저, 웹 데이터를 손쉽게 수집하자!