본문 바로가기

분류 전체보기

(118)
phi-3.5-vision 사용해 보기 (눈 달린 AI?) MS에서 좋은 모델이 나왔다길래 한번 사용해 봤다. https://www.aipostkorea.com/news/articleView.html?idxno=2220 MS 소형 언어모델 '파이-3'에 눈 달린다…차트·그래프 등 AI가 보고 답해마이크로소프트(MS)가 지난달 공개한 소형언어모델(SLM) 파이-3(Phi-3)에 비전(Vision) 기능을 추가했다. 이미지를 제공하면 AI가 자연어로 대답할 수 있게 됐다. 노트북이나 스마트폰 등 개인용 기기www.aipostkorea.com 가장 최근에 나온 모델로 Test~ https://huggingface.co/microsoft/Phi-3.5-vision-instruct/tree/main microsoft/Phi-3.5-vision-instruct at mai..
llama3.1 파인튜닝 퀵하게~ (with Colab) Unsloth 라는 기가막힌 라이브러리가 있다고 하여 바로 실행 해봤다.  아래 깃허브에서 원하는 모델 선택해서 Colab에서 바로 실행해 볼 수도 있음~!! https://github.com/unslothai/unsloth?tab=readme-ov-file GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memoryFinetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory - unslothai/unslothgithub.com 실제 실행해본 코드 첨부 해봅니다.  ## 필요 라이브러리 설치%%c..
프롬프트 잘 만들기 (Guide from 골빈해커!!) 프롬프트 잘 쓰기 핵심요소답변을 위해 필요한 컨텍스트 제공원하는 결과 추출을 위한 프롬프트 작성 (얻고자 하는 정보나 작업의 목표를 명확히 담은 질문이나 요청)결과물의 형식 지정프롬프트 디자인 프레임워크Role (역할)Audience (대상)Knowledge / Information (지식/정보)Task / Goal (작업 / 목표)Policy / Rule, Style, Constraint (정책 / 규칙, 스타일, 제약사항) Formal / Structure (형식/구조)Example (예시)프롬프팅 테크닉 관련 논문 연결 (책에 없는 링크도 찾음)예시제공 Few Shots https://arxiv.org/abs/2005.14165CoT:Chain of Though 생각 사슬https://arxiv.o..
WSL 사용해서 윈도우(VSCODE)에 Transformer 학습 셋팅 하기 conda update -n base -c defaults condaconda create -n python311 python=3.11conda activate python311pip3 install torch torchvision torchaudio VSCODE에서 ctrl + shift + p wsl:connect to wsl이렇게 하면 연결 됨 vscode 안에서 jupyter notebook 환경도 실행해 볼 수 있음 requirements.txt 에 이런 것들 추가해서 설치 하고 실행torchtransformers==4.41.2datasets==2.18.0quantopeft==0.11.0trl==0.8.6accelerate==0.31.0sentencepieceipywidgetssentence-t..
한글 더 잘하는 llama3 찾아서 ollama에 연결하기 (feat. Bllossom ELO) 최근 Bllossom 팀에서 더 많은 Data로 학습한 모델을 올려주셔서 다시 한번 테스트 해본 내용을 작성하였다. (오늘은 2024-07-10 입니다.) https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B MLP-KTLim/llama-3-Korean-Bllossom-8B · Hugging FaceUpdate! [2024.06.18] 사전학습량을 250GB까지 늘린 Bllossom ELO모델로 업데이트 되었습니다. 다만 단어확장은 하지 않았습니다. 기존 단어확장된 long-context 모델을 활용하고 싶으신분은 개인연락주세요!huggingface.co 4bit 양자화 모델도 따로 올려주셔서 그 모델을 ollama에 연결하고 Flowise까지 연결해..
ChatGPT 4 vs 4o OCR (이미지 내 글자 읽기) 비교 얼마전에 일이 있어 ChatGPT 유료 구독을 다시 하게 되었다.  그중에 좋은 점이 맥북에서 전용 어플을 깔면 스크린샷을 그대로 인식해서 강의나 책 이미지에 있는 문자를 쉽게 가져올 수 있는 기능이었다.  유용하게 잘 쓰고 있는데 어쩌다 GPT4 와 GPT4o를 비교하게 되었는데 성능 차이가 꽤 난다.  아래 비교 이미지를 참고 해주시길~!!    ChatGPT 4o 성능이 어마무시 하게 더 좋다.
CreatML 기능 살펴보기 (xcode ML 개발 tool) wwdc를 하나씩 보니 재밌는 기능들이 있네아주 좋은 기능이 아니라 숨겨져 있는듯 ㅋㅋxcode에서 한참 찾았네;;  https://developer.apple.com/videos/play/wwdc2024/10183/ What’s new in Create ML - WWDC24 - Videos - Apple DeveloperExplore updates to Create ML, including interactive data source previews and a new template for building object tracking models for...developer.apple.com App개발 시 자주 사용할만한 예시 Template 들이 있다.  내가 가진 Data 만 있으면 쉽게 학습 시켜볼..
맥북에서 AI 학습하기 이번 WWDC24 에서 멋진 Apple intelligence 가 등장하는 모습을 보고 이제 On-Device AI 시대가 오겠구나 싶었다. https://www.apple.com/apple-intelligence/ Apple Intelligence PreviewApple Intelligence is personal intelligence for the things you do every day. Built into iPhone, iPad, and Mac with groundbreaking privacy.www.apple.com 그래서 WWDC24 에서 AI 세션 몰아 보기를 시작했다.역시나 재밌는 주제가 많았고 요즘 관심사인 LLM 에 대한 내용도 많이 있었다.  https://developer.app..
한국에서 만든 AI 서비스 : 뤼튼 (wrtn) 사용기 (무료 챗GPT) 일단은 GPT를 무료로 써볼 수 있는 점이 매우 좋은 점이다. OpenAI 유료결제를 할일이 있었는데 뤼튼을 알게 되니 굳이 할 필요 없어 보인다.  블로그 글을 써주는 예시가 있어서 방울 토마토 효능에 관한 얘기를 써달라고 해봤다. 참고 자료도 링크를 달아줘서 좋네 .  이미지 생성은 안되는 것 같아 유료 챗GPT에서 만들어 봤다.   이정도면 사실 블로그를 쓸 이유도 없다. 왜냐하면... 블로그를 찾아볼 이유가 없기 때문이다.  그냥 보고 싶은 블로그가 있으면 만들어 달라고 하는게 나을듯;; 뤼튼의 가장 큰 장점은 사람들이 AI 를 사용하는 노하우를 같이 공유할 수 있는 점이다.  공유가 되는 기능은 3가지가 있는듯 한데 1. 프롬프트 공유, 2. 미리 정의된 챗봇 3. 미리 정의된 툴 이다.  첫번..
Flowise 나도 따라해보기 (windows) UI로 쉽게 LLM을 활용한 챗봇 / Agent 만들어 볼 수 있다고 하니 나도 따라해 봅니다.  https://www.youtube.com/watch?v=nqAK_L66sIQ&list=PL4HikwTaYE0H7wBxhvQqxYcKOkZ4O3zXh git clone https://github.com/FlowiseAI/Flowise.gitnpm i -g pnpmpnpm installpnpm buildpnpm start  http://localhost:3000/ 이제 이 url로 들어가면 예쁜 화면이 나옴  우선 Chains 에서 LLM Chain 끌어다 놓으면 짠~ LLMs에서 OpenAI 끌어다 놓으면 https://platform.openai.com/  에서 발급받은 Key 사용 가능  Prompt T..