Ollama 설치 및 생성형 AI 배포

최근 생성형 AI의 발전으로 인해 개인 컴퓨터에서 대형 언어 모델(LLM)을 실행하는 것이 점점 더 중요해지고 있습니다. 하지만 기존의 방법으로는 복잡한 설정이 필요하고, 하드웨어 요구 사항이 높아 일반 사용자에게는 진입 장벽이 존재했습니다.
Ollama는 이러한 문제를 해결하기 위해 설계된 오픈 소스 도구로, 사용자가 로컬 환경에서 쉽게 LLM을 실행하고 관리할 수 있도록 돕습니다. 이를 통해 개인정보 보호와 보안이 강화될 뿐만 아니라, 클라우드 의존도를 줄일 수 있는 장점도 제공합니다.

본 문서에서는 Ubuntu 20.04 환경에서 Ollama를 설치하고, 외부에서 접근할 수 있도록 설정하는 방법을 설명합니다. 또한 Ollama에서 DeepSeek-R1 모델을 배포하고 API를 통해 사용하는 방법까지 다룹니다.

목차

1. 환경 구성
2. Ollama 란?
3. Ollama 설치
4. Ollama 모델 배포
5. 결론

1. 환경 구성

• Ubuntu 20.04
• Ollama : 0.6.4

2. Ollama란?

​Ollama는 대형 언어 모델(LLM)을 개인 컴퓨터, 서버에서 쉽게 실행하고 관리할 수 있는 오픈 소스 도구입니다.

이를 통해 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 3 등 다양한 모델을 로컬 환경에서 실행할 수 있으며, 모든 데이터 처리가 로컬에서 이루어져 개인정보 보호와 보안 측면에서 이점을 제공합니다. 또한, macOS, Linux, Windows 등 다양한 운영 체제에서 사용할 수 있습니다.

3. Ollama 설치

Ollama를 설치하는 방법은 운영체제 마다 다르지만 예제에서는 Ubuntu 20.04 운영체제를 통해 진행합니다.

ollama는 스크립트를 통해 ollama를 설치할 수 있습니다.

curl https://ollama.com/install.sh | sh

Ollama가 설치된 것을 확인할 수 있습니다.

현재 Ollama는 Localhost로 열려있기 때문에 vm에 배포된 Ollama에 접속하지 못합니다. host를 0.0.0.0으로 변경하여 외부에서 접속 할 수 있도록 구성합니다.

 /etc/systemd/system/ollama.service 를 수정합니다.

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0" 

[Install]
WantedBy=default.target

굵은 폰트 내용을 추가합니다.

sudo systemctl daemon-reload ,
sudo systemctl restart ollama.

ollama를 재시작하여 구성을 적용합니다.

외부에서 브라우저를 통해 접속할 수 있는 것을 확인할 수 있습니다.

4. Ollama Model 배포

Ollama에서 생성형 AI를 사용하기 위해서는 LLM Model을 배포해야 사용할 수 있습니다.

Ollama의 모델은 Ollama 공식 사이트, Hugging Face 에서 찾을 수 있습니다.

많은 모델중 deepseek-r1을 사용하겠습니다.

1.5b, 7b, 8b, 14b, 32b, 70b, 671b 는 각각 모델의 파라미터를 뜻합니다.

파라미터 중 제일 작은 모델을 선택하여 사용하였습니다.

ollama run deepseek-r1:1.5b

사진과 같이 모델을 다운받은 후 CLI 형태로 사용할 수 있게 됩니다.

Ollama는 기본적으로 api 통신도 지원하고 있기 때문에 현재 설치되어 있는 모델 확인 및 모델을 사용할 수 있습니다.

curl -s http://[Ollama IP]:11434/api/tags | jq .

/api/generate 엔트포인트에 요청을 보내 AI Model를 사용할 수 있습니다.

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "[모델 명]",
  "prompt": "[프롬프트]",
  "stream": false
}'

5. 결론

Ollama를 설치하고 외부에서 접근할 수 있도록 설정하는 방법을 살펴보았습니다. 또한 Ollama에서 LLM 모델을 배포하고 API를 통해 활용하는 과정도 함께 다뤘습니다. Ollama는 비교적 간단한 설정만으로도 로컬 환경에서 강력한 생성형 AI 모델을 실행할 수 있도록 지원하며, API를 통해 다양한 애플리케이션과 연계할 수도 있습니다.

AI와 관련된 더 많은 정보를 알고싶으시다면 NGINX STORE AI 카테고리를 참고해주세요.