본문 바로가기

전체 글

 (153)
phi-3.5-vision 사용해 보기 (눈 달린 AI?) MS에서 좋은 모델이 나왔다길래 한번 사용해 봤다. https://www.aipostkorea.com/news/articleView.html?idxno=2220 MS 소형 언어모델 '파이-3'에 눈 달린다…차트·그래프 등 AI가 보고 답해마이크로소프트(MS)가 지난달 공개한 소형언어모델(SLM) 파이-3(Phi-3)에 비전(Vision) 기능을 추가했다. 이미지를 제공하면 AI가 자연어로 대답할 수 있게 됐다. 노트북이나 스마트폰 등 개인용 기기www.aipostkorea.com 가장 최근에 나온 모델로 Test~ https://huggingface.co/microsoft/Phi-3.5-vision-instruct/tree/main microsoft/Phi-3.5-vision-instruct at mai..
llama3.1 파인튜닝 퀵하게~ (with Colab) Unsloth 라는 기가막힌 라이브러리가 있다고 하여 바로 실행 해봤다.  아래 깃허브에서 원하는 모델 선택해서 Colab에서 바로 실행해 볼 수도 있음~!! https://github.com/unslothai/unsloth?tab=readme-ov-file GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memoryFinetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory - unslothai/unslothgithub.com 실제 실행해본 코드 첨부 해봅니다.  ## 필요 라이브러리 설치%%c..
프롬프트 잘 만들기 (Guide from 골빈해커!!) 프롬프트 잘 쓰기 핵심요소답변을 위해 필요한 컨텍스트 제공원하는 결과 추출을 위한 프롬프트 작성 (얻고자 하는 정보나 작업의 목표를 명확히 담은 질문이나 요청)결과물의 형식 지정프롬프트 디자인 프레임워크Role (역할)Audience (대상)Knowledge / Information (지식/정보)Task / Goal (작업 / 목표)Policy / Rule, Style, Constraint (정책 / 규칙, 스타일, 제약사항) Formal / Structure (형식/구조)Example (예시)프롬프팅 테크닉 관련 논문 연결 (책에 없는 링크도 찾음)예시제공 Few Shots https://arxiv.org/abs/2005.14165CoT:Chain of Though 생각 사슬https://arxiv.o..
WSL 사용해서 윈도우(VSCODE)에 Transformer 학습 셋팅 하기 conda update -n base -c defaults condaconda create -n python311 python=3.11conda activate python311pip3 install torch torchvision torchaudio VSCODE에서 ctrl + shift + p wsl:connect to wsl이렇게 하면 연결 됨 vscode 안에서 jupyter notebook 환경도 실행해 볼 수 있음 requirements.txt 에 이런 것들 추가해서 설치 하고 실행torchtransformers==4.41.2datasets==2.18.0quantopeft==0.11.0trl==0.8.6accelerate==0.31.0sentencepieceipywidgetssentence-t..
한글 더 잘하는 llama3 찾아서 ollama에 연결하기 (feat. Bllossom ELO) 최근 Bllossom 팀에서 더 많은 Data로 학습한 모델을 올려주셔서 다시 한번 테스트 해본 내용을 작성하였다. (오늘은 2024-07-10 입니다.) https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B MLP-KTLim/llama-3-Korean-Bllossom-8B · Hugging FaceUpdate! [2024.06.18] 사전학습량을 250GB까지 늘린 Bllossom ELO모델로 업데이트 되었습니다. 다만 단어확장은 하지 않았습니다. 기존 단어확장된 long-context 모델을 활용하고 싶으신분은 개인연락주세요!huggingface.co 4bit 양자화 모델도 따로 올려주셔서 그 모델을 ollama에 연결하고 Flowise까지 연결해..

티스토리툴바