AI (30) 썸네일형 리스트형 phi-3.5-vision 사용해 보기 (눈 달린 AI?) MS에서 좋은 모델이 나왔다길래 한번 사용해 봤다. https://www.aipostkorea.com/news/articleView.html?idxno=2220 MS 소형 언어모델 '파이-3'에 눈 달린다…차트·그래프 등 AI가 보고 답해마이크로소프트(MS)가 지난달 공개한 소형언어모델(SLM) 파이-3(Phi-3)에 비전(Vision) 기능을 추가했다. 이미지를 제공하면 AI가 자연어로 대답할 수 있게 됐다. 노트북이나 스마트폰 등 개인용 기기www.aipostkorea.com 가장 최근에 나온 모델로 Test~ https://huggingface.co/microsoft/Phi-3.5-vision-instruct/tree/main microsoft/Phi-3.5-vision-instruct at mai.. llama3.1 파인튜닝 퀵하게~ (with Colab) Unsloth 라는 기가막힌 라이브러리가 있다고 하여 바로 실행 해봤다. 아래 깃허브에서 원하는 모델 선택해서 Colab에서 바로 실행해 볼 수도 있음~!! https://github.com/unslothai/unsloth?tab=readme-ov-file GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memoryFinetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory - unslothai/unslothgithub.com 실제 실행해본 코드 첨부 해봅니다. ## 필요 라이브러리 설치%%c.. 프롬프트 잘 만들기 (Guide from 골빈해커!!) 프롬프트 잘 쓰기 핵심요소답변을 위해 필요한 컨텍스트 제공원하는 결과 추출을 위한 프롬프트 작성 (얻고자 하는 정보나 작업의 목표를 명확히 담은 질문이나 요청)결과물의 형식 지정프롬프트 디자인 프레임워크Role (역할)Audience (대상)Knowledge / Information (지식/정보)Task / Goal (작업 / 목표)Policy / Rule, Style, Constraint (정책 / 규칙, 스타일, 제약사항) Formal / Structure (형식/구조)Example (예시)프롬프팅 테크닉 관련 논문 연결 (책에 없는 링크도 찾음)예시제공 Few Shots https://arxiv.org/abs/2005.14165CoT:Chain of Though 생각 사슬https://arxiv.o.. 한글 더 잘하는 llama3 찾아서 ollama에 연결하기 (feat. Bllossom ELO) 최근 Bllossom 팀에서 더 많은 Data로 학습한 모델을 올려주셔서 다시 한번 테스트 해본 내용을 작성하였다. (오늘은 2024-07-10 입니다.) https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B MLP-KTLim/llama-3-Korean-Bllossom-8B · Hugging FaceUpdate! [2024.06.18] 사전학습량을 250GB까지 늘린 Bllossom ELO모델로 업데이트 되었습니다. 다만 단어확장은 하지 않았습니다. 기존 단어확장된 long-context 모델을 활용하고 싶으신분은 개인연락주세요!huggingface.co 4bit 양자화 모델도 따로 올려주셔서 그 모델을 ollama에 연결하고 Flowise까지 연결해.. ChatGPT 4 vs 4o OCR (이미지 내 글자 읽기) 비교 얼마전에 일이 있어 ChatGPT 유료 구독을 다시 하게 되었다. 그중에 좋은 점이 맥북에서 전용 어플을 깔면 스크린샷을 그대로 인식해서 강의나 책 이미지에 있는 문자를 쉽게 가져올 수 있는 기능이었다. 유용하게 잘 쓰고 있는데 어쩌다 GPT4 와 GPT4o를 비교하게 되었는데 성능 차이가 꽤 난다. 아래 비교 이미지를 참고 해주시길~!! ChatGPT 4o 성능이 어마무시 하게 더 좋다. 한국에서 만든 AI 서비스 : 뤼튼 (wrtn) 사용기 (무료 챗GPT) 일단은 GPT를 무료로 써볼 수 있는 점이 매우 좋은 점이다. OpenAI 유료결제를 할일이 있었는데 뤼튼을 알게 되니 굳이 할 필요 없어 보인다. 블로그 글을 써주는 예시가 있어서 방울 토마토 효능에 관한 얘기를 써달라고 해봤다. 참고 자료도 링크를 달아줘서 좋네 . 이미지 생성은 안되는 것 같아 유료 챗GPT에서 만들어 봤다. 이정도면 사실 블로그를 쓸 이유도 없다. 왜냐하면... 블로그를 찾아볼 이유가 없기 때문이다. 그냥 보고 싶은 블로그가 있으면 만들어 달라고 하는게 나을듯;; 뤼튼의 가장 큰 장점은 사람들이 AI 를 사용하는 노하우를 같이 공유할 수 있는 점이다. 공유가 되는 기능은 3가지가 있는듯 한데 1. 프롬프트 공유, 2. 미리 정의된 챗봇 3. 미리 정의된 툴 이다. 첫번.. Flowise 나도 따라해보기 (windows) UI로 쉽게 LLM을 활용한 챗봇 / Agent 만들어 볼 수 있다고 하니 나도 따라해 봅니다. https://www.youtube.com/watch?v=nqAK_L66sIQ&list=PL4HikwTaYE0H7wBxhvQqxYcKOkZ4O3zXh git clone https://github.com/FlowiseAI/Flowise.gitnpm i -g pnpmpnpm installpnpm buildpnpm start http://localhost:3000/ 이제 이 url로 들어가면 예쁜 화면이 나옴 우선 Chains 에서 LLM Chain 끌어다 놓으면 짠~ LLMs에서 OpenAI 끌어다 놓으면 https://platform.openai.com/ 에서 발급받은 Key 사용 가능 Prompt T.. Watsonx 한번 써보기 watson 오랜만이네 Watsonx.ai 는 Google AI Studio와 비슷하게LLM 모델 선택하고 프롬프트를 미리 셋팅해서 Test 해 볼수 있고해당 셋팅을 저장해놓거나 코드로 만들어서 사용해볼 수 있음 (기본 모델 fine tuning 도 가능하지만 유료) 프롬프트 랩 열기 LLM 모델 선택 화면 기본적인 가드레일도 켤 수 있고 프롬프트 만들어 놓으면 외부에서 호출 할 수 있도록 기본 코드도 제공 됨 Asset에 다양한 데이터를 가져와서 연결해 사용가능 프롬프트 탬플릿을 평가하는 툴도 보유하고 있음 그동안에 IBM의 Data/AI 관련 사업의 노하우를 최대한 한 플랫폼에서 연결 되게 정리한 것 같다. Open source 모델이나 생태계도 포함하면서 퍼블릭 클라우드와 On-Premise .. 랭체인으로 의미기반 문서 나누기 (langchain sementic chuncker 사용법) 랭체인을 활용하여 RAG를 구현해 보려고 하는데 문서를 좀 더 잘 분해하여 임베딩 시켜 저장하면 좋을 것 같아 찾아봄. 어차피 임베딩해서 저장하는 이유는Vector Space에 문서를 잘 뿌려 놓고 다시 잘 찾아오기 위한 것이다. 문서를 좀 더 잘게 쪼개 놓으면 원하는 내용을 찾아오기 쉬울 것 같았는데 일부 예제에서 문서 길이를 보고 자르는 게 있길래의미 기반으로 자를 순 없을지 찾아보니 역시 기능이 있었다. sementic chunker이름도 멋지게 잘 만들어 놨군 ㅋㅋhttps://python.langchain.com/v0.2/docs/how_to/semantic-chunker/ How to split text based on semantic similarity | 🦜️🔗 LangChainTa.. Hugging Face 모델 Colab 에서 써보기 (한글 예제 돌리기 및 비교) Key를 발급 받아서 모델을 가져오는 방법이다. 허깅 페이스에 로그인 하고 https://huggingface.co/settings/tokens Name은 원하는 대로~ 그리고 Colab 에서 아래처럼 입력하고 실행하면 위에서 생성한 Token을 입력해서 사용할 수 있다.import huggingface_hubhuggingface_hub.login()로그인을 하지 않으면 아래 같은 메시지가 나온다. 공개 모델은 로그인 하지 않아도 아직 사용은 가능한듯 The secret `HF_TOKEN` does not exist in your Colab secrets. To authenticate with the Hugging Face Hub, create a token in your settings tab (.. 이전 1 2 3 다음
