ollama 활용 llama3 사용법 (우선 window)

https://ollama.com/

Ollama

여기서 windows 용 다운로드 

설치를 하고 

Models 에 가서 llama3 를 선택 

latest 가 8B 모델인가보다.

ollama 를 실행하고 터미널이 열리면 아래 실행 

ollama run llama3

 

8b 모델은 GPT 3.5 수준이라고 함

 

다운로드가 끝나면 /show info 를 쳐보면 아래처럼 나옴. 설치 잘 됨

>>> /show info
Model details:
Family              llama
Parameter Size      8B
Quantization Level  Q4_0

 

한글로 질문해도 빠르게 답변해주네요~!! 

 

오 번역은 약간 깨지는 부분이 있기는 하지만 일단 사용 성공~

 

파이썬에서 간단히 출력

import ollama

stream = ollama.generate(model='llama3', prompt='하늘이 왜 파란지에 대한 답을 한글로 말해줘')
print(stream['response'])

 

가끔 영어로 답하긴 하지만 아래처럼 한글이 나옴

 

 

Chatgpt 처럼 웹 (크롬)에서 사용하려면 아래 글을 참고해 주세요~

https://devmeta.tistory.com/72

Ollama - llama3 브라우저에서 사용 (윈도우 - GPU)

 

최신 한국어 모델 적용 하시려면 아래 글을 참고해 주세요~ (2024년 5월 9일 기준 )

https://devmeta.tistory.com/80

한국어 제일 잘하는 AI 찾기 (feat. ollama / quantize)