본문 바로가기

전체 글

 (94)
Windows Flash attenion 2 실행 시키기 (torch 2.1 / cuda 12.1) 파이토치 기본 Attention 보다 빠르다는Flash Attention 2를 윈도우에서 실행해 보는 중이다.  https://dajeblog.co.kr/flashattention-v2-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-%EA%B8%B0%EC%A1%B4-attention%EB%B3%B4%EB%8B%A4-59%EB%B0%B0-%EB%B9%A0%EB%A5%B8-%EB%8C%80%ED%99%94%EC%B1%97%EB%B4%87-%EB%AA%A8%EB%8D%B8/ FlashAttention v2, [논문 리뷰] 기존 Attention보다 5~9배 빠른 대화(챗봇) 모델을 소개합니다. - NLP AI1년 만에 Stanford University-FlashAttention이 제안한..
phi-3.5-vision 사용해 보기 (눈 달린 AI?) MS에서 좋은 모델이 나왔다길래 한번 사용해 봤다. https://www.aipostkorea.com/news/articleView.html?idxno=2220 MS 소형 언어모델 '파이-3'에 눈 달린다…차트·그래프 등 AI가 보고 답해마이크로소프트(MS)가 지난달 공개한 소형언어모델(SLM) 파이-3(Phi-3)에 비전(Vision) 기능을 추가했다. 이미지를 제공하면 AI가 자연어로 대답할 수 있게 됐다. 노트북이나 스마트폰 등 개인용 기기www.aipostkorea.com 가장 최근에 나온 모델로 Test~ https://huggingface.co/microsoft/Phi-3.5-vision-instruct/tree/main microsoft/Phi-3.5-vision-instruct at mai..
llama3.1 파인튜닝 퀵하게~ (with Colab) Unsloth 라는 기가막힌 라이브러리가 있다고 하여 바로 실행 해봤다.  아래 깃허브에서 원하는 모델 선택해서 Colab에서 바로 실행해 볼 수도 있음~!! https://github.com/unslothai/unsloth?tab=readme-ov-file GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memoryFinetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory - unslothai/unslothgithub.com 실제 실행해본 코드 첨부 해봅니다.  ## 필요 라이브러리 설치%%c..
프롬프트 잘 만들기 (Guide from 골빈해커!!) 프롬프트 잘 쓰기 핵심요소답변을 위해 필요한 컨텍스트 제공원하는 결과 추출을 위한 프롬프트 작성 (얻고자 하는 정보나 작업의 목표를 명확히 담은 질문이나 요청)결과물의 형식 지정프롬프트 디자인 프레임워크Role (역할)Audience (대상)Knowledge / Information (지식/정보)Task / Goal (작업 / 목표)Policy / Rule, Style, Constraint (정책 / 규칙, 스타일, 제약사항) Formal / Structure (형식/구조)Example (예시)프롬프팅 테크닉 관련 논문 연결 (책에 없는 링크도 찾음)예시제공 Few Shots https://arxiv.org/abs/2005.14165CoT:Chain of Though 생각 사슬https://arxiv.o..
WSL 사용해서 윈도우(VSCODE)에 Transformer 학습 셋팅 하기 conda update -n base -c defaults condaconda create -n python311 python=3.11conda activate python311pip3 install torch torchvision torchaudio VSCODE에서 ctrl + shift + p wsl:connect to wsl이렇게 하면 연결 됨 vscode 안에서 jupyter notebook 환경도 실행해 볼 수 있음 requirements.txt 에 이런 것들 추가해서 설치 하고 실행torchtransformers==4.41.2datasets==2.18.0quantopeft==0.11.0trl==0.8.6accelerate==0.31.0sentencepieceipywidgetssentence-t..

티스토리툴바