AI 에이전트 VPS, AI 자동화 서버

CPU로 모델을 돌리면 GPU보다 답이 천천히 나와요. 3B~8B 크기의 양자화 모델은 채팅처럼 읽을 수는 있는 속도지만, 긴 글을 한꺼번에 만들거나 여러 사람이 동시에 쓰면 기다리는 시간이 길어져요. 그래서 CPU 서버의 로컬 모델은 분류, 짧은 요약, 정보 뽑기처럼 짧은 답을 많이 내는 작업에 가장 잘 맞아요.

Ollama 안내 기준으로 7B 모델은 메모리 8 GB, 13B 모델은 16 GB, 33B 모델은 32 GB 이상을 권해요. 운영체제와 다른 프로그램도 메모리를 쓰므로 한 단계 넉넉한 플랜을 고르고, 처음에는 작은 모델로 품질과 속도를 확인한 뒤 키우는 순서가 좋아요.

빠른 응답이 필요한 서비스, 70B 이상의 큰 모델, 이미지 생성, 미세 조정은 GPU가 필요해요. 이런 작업은 GPU 서버 페이지에서 알아보고, VPS는 GPU 서버나 LLM API를 부르는 에이전트와 워크플로를 맡는 역할로 나누면 비용과 속도를 함께 챙길 수 있어요.

서버를 만들 때 이미지에서 Docker 앱을 고르면 Ubuntu 24.04 위에 Docker Engine과 Docker Compose가 설치된 채로 시작해요. 접속한 뒤 docker volume create n8n_data로 저장 공간을 만들고, docker run -d --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n 명령으로 n8n을 올려요. 실제 서비스에서는 도메인과 HTTPS를 연결해 쓰는 편이 안전해요.

Ollama는 curl -fsSL https://ollama.com/install.sh | sh 한 줄로 설치하고, ollama run llama3.2처럼 모델 이름을 넣으면 내려받아 바로 실행해요. 설치하면 서버 안에서 11434 포트로 API가 열리고, 같은 서버의 n8n이나 Python 코드가 이 주소를 불러 로컬 모델을 써요.

Ollama API는 기본으로 서버 안에서만 받으니 그대로 두는 편이 좋아요. 바깥에서 써야 한다면 WireGuard 같은 VPN으로 들어오거나, Nginx 프록시에 인증을 붙여 허용한 사람만 쓰게 해요.

LLM API 키는 코드에 직접 쓰지 말고 환경 변수나 권한을 좁힌 파일에 두세요. API 쪽에서 사용 한도를 정해 두면 에이전트가 반복 실행에 빠져도 요금이 갑자기 늘지 않아요. 서버에는 SSH 키로만 접속하고, n8n 같은 관리 화면은 강한 비밀번호와 HTTPS로 지켜요.

에이전트가 웹을 읽고 명령을 실행하는 도구를 쓰면 권한을 좁게 주는 것이 중요해요. 에이전트용 리눅스 사용자를 따로 만들고 필요한 폴더만 쓰게 하거나, Docker 컨테이너 안에서 돌리면 실수가 생겨도 서버 전체에 번지지 않아요.

에이전트가 보내는 알림 메일은 포트 587을 쓰는 메일 발송 서비스로 보내고, 텔레그램이나 디스코드 웹훅도 함께 쓰면 편해요. 자동 백업 옵션을 켜 두면 워크플로와 대화 기록이 함께 보관되고, 복원이 필요할 때는 첫 결제 후 고객센터 페이지에서 요청해요.