Ollama - llama3 브라우저에서 사용 (윈도우 - GPU)

llama3를 Chatgpt처럼 브라우저에서 써보면 좋을 것 같아 찾아보니 

역시 좋은게 있음

 

https://docs.openwebui.com/getting-started/

🚀 Getting Started | Open WebUI

 

1단계

도커는 우선 설치해 주시고 실행도 시켜주세여~

https://www.docker.com/products/docker-desktop/

Docker Desktop: The #1 Containerization Tool for Developers | Docker

 

2단계

ollama 없으신분들은 여기서 참고 해 주세요~

https://devmeta.tistory.com/68

ollama 활용 llama3 사용법 (우선 window)

 

3단계

window powershell 열고 아래 명령어 실행

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

4단계 크롬을 열고 아래 링크에 접속~!! 이메일 로그인창이 나오지만 Docker로 PC에서 실행한거라서 아무렇게나 입력해도 됩니다~ sign up 눌러서 가입하면 바로 실행됨~!!

http://localhost:3000/

 

Select Model 누르면 우리가 기존에 설치했던 llama3 모델이 보인다

 

llama3 기본 모델은 영어를 잘하지만 한글로 말해줘를 붙이면 나름 잘 대답한다~!!