[Quantly] Ollama 로 개인형 LLM 서버 구성하기

0. 사용 환경

AWS EC2 t3.large

OS : Amazon Linux 2023

1. 설치

1) docker 설치

// 패키지 업데이트 확인 후 새로운 파일로 수정
sudo yum update
sudo yum upgrade

// Docker 설치
sudo yum install docker -y

// Docker 서비스 시작
sudo service docker start

// Docker 서비스 실행 확인
systemctl status docker.service

// 인스턴스 실행시 실행
sudo systemctl enable docker.service

//Docker 그룹 권한 설정
sudo usermod -a -G docker ec2-user

// 실행 확인
docker ps
//permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.44/containers/json": dial unix /var/run/docker.sock: connect: permission denied


// Docker 데몬 소켓 파일(docker.sock)의 권한을 변경
sudo chmod 666 /var/run/docker.sock

// 실행 확인
docker info

Docker 데몬 소켓에 연결하는데 권한이 거부되었다는 에러가 발생

=> Docker 데몬 소켓 파일(docker.sock)의 권한을 변경

2) ollama 설치

docker로 설치했다.

// ollama 설치
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

// 실행
docker exec -it ollama ollama run <모델명>

/bye 라고 입력하면 빠져나올 수 있다.

3) Open webui 설치

// open webui 설치
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main


// 재부팅 시 자동 실행
docker update --restart=always <컨테이너 id>
docker update --restart=always <컨테이너 id>

설치 후 실행 확인