한글 잘하는 llama3 찾아서 ollama에 연결하기 (feat. Hugging Face)

그냥 llama3 8b는 한글을 잘 못한다.. 

그래서 한국에 연구자분들께서 올려주신 한글 llama를 찾아다녀봤다. 

 

아래처럼 따라해 보면 한글을 잘하는 llama3를 내 컴퓨터에서 만나볼 수 있었다. 

 

https://huggingface.co/teddylee777/Llama-3-Open-Ko-8B-gguf/tree/main

teddylee777/Llama-3-Open-Ko-8B-gguf at main

 

위 링크에서 .gguf 파일을 다운 받는다. 

우선 Llama-3-Open-Ko-8B-Q5_K_M.gguf 이거 한번 받아봤다. 

 

vscode 에서 새 파일 하나 만들고 아래 내용을 입력한 뒤 Modelfile. 을 하나 만들어 준다. 

FROM 뒤에 내가 받은 모델파일 명을 써준다. 

FROM Llama-3-Open-Ko-8B-Q5_K_M.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. 모든 대답은 한국어(Korean)으로 대답해줘."""

PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>

Save As 시에 셋팅

 

그리고 파워쉘에서 Modelfile과 다운로드한 .gguf 파일을 한곳에 모아놓고 그곳에서 아래 명령어 실행

(ollama create 뒤에 내가 쓰고싶은 모델 명 적기)

> ollama create ollama-ko-0502 -f Modelfile

 

 

그리고 나서 다시 ollama ui를 열고 Select a model에서 방금 만든 "ollama-ko-0502"를 선택한다. 

 

그냥 llama3에 질문하면 영어로 답하거나 장황하게 설명하는데 

이렇게 셋팅하니 한글로 좀 쉽게 할 수 있다. 

 

다른 모델 파일들도 찾아서 test 해보면 좋을 듯