VPS dla agentów AI, serwer automatyzacji AI

Na CPU model odpowiada wolniej niż na GPU. Skwantyzowane modele 3B~8B generują tekst w tempie, które da się czytać jak czat, ale długie teksty naraz lub jednoczesna praca kilku użytkowników wydłużają oczekiwanie. Dlatego lokalne modele na serwerze CPU najlepiej sprawdzają się w zadaniach z wieloma krótkimi odpowiedziami: klasyfikacji, krótkich streszczeniach, wyciąganiu informacji.

Według zaleceń Ollama model 7B potrzebuje 8 GB pamięci, 13B 16 GB, a 33B od 32 GB. System operacyjny i inne programy też zużywają pamięć, więc wybierz plan o stopień wyższy i zacznij od małego modelu, by sprawdzić jakość i szybkość, a potem przejdź na większy.

Usługi wymagające szybkiej odpowiedzi, duże modele od 70B, generowanie obrazów i dostrajanie wymagają GPU. Takie zadania sprawdź na stronie serwerów GPU, a VPS przeznacz na agentów i workflow wywołujące serwer GPU lub LLM API, a zyskasz zarówno na kosztach, jak i na szybkości.

Jeśli przy tworzeniu serwera wybierzesz w obrazach aplikację Docker, serwer wystartuje na Ubuntu 24.04 z zainstalowanymi Docker Engine i Docker Compose. Po połączeniu utwórz magazyn poleceniem docker volume create n8n_data i uruchom n8n poleceniem docker run -d --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n. W prawdziwej usłudze bezpieczniej podłączyć domenę i HTTPS.

Ollama instaluje się jednym poleceniem curl -fsSL https://ollama.com/install.sh | sh, a polecenie z nazwą modelu, na przykład ollama run llama3.2, pobiera go i od razu uruchamia. Po instalacji wewnątrz serwera otwiera się API na porcie 11434, a n8n lub kod w Pythonie na tym samym serwerze odwołują się do tego adresu, by używać modelu lokalnego.

API Ollama domyślnie przyjmuje żądania tylko wewnątrz serwera i lepiej tak zostawić. Jeśli potrzebny jest dostęp z zewnątrz, łącz się przez VPN, na przykład WireGuard, albo postaw proxy Nginx z uwierzytelnianiem, aby korzystać mogły tylko uprawnione osoby.

Nie wpisuj kluczy LLM API bezpośrednio w kodzie, tylko trzymaj je w zmiennych środowiskowych lub plikach z ograniczonymi uprawnieniami. Jeśli ustawisz limit wydatków po stronie API, rachunek nie wzrośnie nagle, nawet gdy agent wpadnie w pętlę. Łącz się z serwerem tylko kluczem SSH, a panele zarządzania takie jak n8n chroń silnym hasłem i HTTPS.

Gdy agent korzysta z narzędzi do czytania stron i wykonywania poleceń, ważne jest nadawanie mu minimalnych uprawnień. Utwórz dla agenta osobnego użytkownika Linuksa z dostępem tylko do potrzebnych folderów lub uruchamiaj go w kontenerze Docker, a nawet błąd nie obejmie całego serwera.

Wysyłaj e-maile z alertami agenta przez usługę dostarczania poczty na porcie 587, a webhooki Telegram lub Discord działają dobrze obok. Z włączoną opcją automatycznej kopii zapasowej przepływy pracy i historia czatu są zachowywane, a gdy potrzebujesz przywrócenia, zgłoś to na stronie wsparcia po pierwszej płatności.