Python (3) 썸네일형 리스트형 Windows Flash attenion 2 실행 시키기 (torch 2.1 / cuda 12.1) 파이토치 기본 Attention 보다 빠르다는Flash Attention 2를 윈도우에서 실행해 보는 중이다. https://dajeblog.co.kr/flashattention-v2-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-%EA%B8%B0%EC%A1%B4-attention%EB%B3%B4%EB%8B%A4-59%EB%B0%B0-%EB%B9%A0%EB%A5%B8-%EB%8C%80%ED%99%94%EC%B1%97%EB%B4%87-%EB%AA%A8%EB%8D%B8/ FlashAttention v2, [논문 리뷰] 기존 Attention보다 5~9배 빠른 대화(챗봇) 모델을 소개합니다. - NLP AI1년 만에 Stanford University-FlashAttention이 제안한.. WSL 사용해서 윈도우(VSCODE)에 Transformer 학습 셋팅 하기 conda update -n base -c defaults condaconda create -n python311 python=3.11conda activate python311pip3 install torch torchvision torchaudio VSCODE에서 ctrl + shift + p wsl:connect to wsl이렇게 하면 연결 됨 vscode 안에서 jupyter notebook 환경도 실행해 볼 수 있음 requirements.txt 에 이런 것들 추가해서 설치 하고 실행torchtransformers==4.41.2datasets==2.18.0quantopeft==0.11.0trl==0.8.6accelerate==0.31.0sentencepieceipywidgetssentence-t.. 윈도우에서 make 실행하기 일단 여기 들어가서 제일 첫번째꺼 다운로드 후에 exe 파일 실행해서 설치 하기 http://gnuwin32.sourceforge.net/packages/make.htm Make for Windows• Complete package, except sources Setup 3384653 25 November 2006 8ae51379d1f3eef8360df4e674f17d6dgnuwin32.sourceforge.net 보통 여기에 설치 되는데 C:\Program Files (x86)\GnuWin32\bin 이 주소를 환경변수에 등록하자 참고 블로그 https://jstar0525.tistory.com/264 [make] Windows 10에서 make 사용하기Windows 10에서 make 사용하기 .. 이전 1 다음
