뭔가 불필요한 일들을 AI로 자동화 하는데 관심이 많아졌다.
그중에 요즘은 대부분의 서비스들이
웹브라우저에서 가능하기 때문에 가장 중요한 웹브라우저 기반 자동화 방법을 찾아봤다.
특히 클로드나 chatpgt를 쓰면 비용이 많이 나오기 때문에
Local PC 에서 돌아가는 모델로 구현해 봤다.
내가 가장 애용하는 Qwen 모델.
이번에 나온 모델들은 Qwen3 부터 reasoning 이 강조되서
스스로 생각하고 실행하는 기능이 강화가 됐다.
거기에 더해 MCP Tool 같은 Action 들을 미리 로딩을 해서
필요할 때 알아서 기능을 활용하게 되어있어서
자동화 기능에 더 잘 맞는 것 같다.
말이 길었는데 바로 테스트 해본 결과를 보자.
심지어 내가 시킨 일들을 캡쳐 해서 어떻게 실행 했는지 설명까지 써서 GIF 로 저장해 준다.
실제로는 내가 필요한 일을 자동화 해서 시키고 있지만 테스트 용으로 아래 내용을 정리 해 봤다.
내가 질문한 건
" https://www.koreaherald.com/ 에서 Sports 영역으로 넘어가서 첫번째 기사 확인해서 내용 요약해서 한글로 말해줘. "
이 기능을 실행하기 위해 여러가지가 필요한데
우선 모델을 준비 한다.
ollama 에 가서 ollama를 설치 하고
GPU 용량에 따라
qwen3:8b 또는 qwen3:14b 를 활용한다.
난 rtx4060ti 로 gpu 메모리가 16G까지 가능해서 14b를 사용해 봤다.
터미널에서
ollama serve
를 실행해서 보면 잘 호출 되는지 볼 수 있다.
Browser 를 컨트롤 하는 서비스는 아래 문서를 참고 한다.
https://docs.browser-use.com/quickstart
Quickstart - Browser Use
Start using Browser Use with this quickstart guide
docs.browser-use.com
요즘 유행하는 MCP 인 playwright 와 그 브라우저로 cromium 을 사용하는 방법을 이용했다.
심지어 윈도우에서도 잘 돌아가니 다들 해보시길
Test 해볼 수 있는 UI 소스도 제공 되서 그걸 활용했다.
https://github.com/browser-use/web-ui
GitHub - browser-use/web-ui: 🖥️ Run AI Agent in your browser.
🖥️ Run AI Agent in your browser. Contribute to browser-use/web-ui development by creating an account on GitHub.
github.com
ollama qwen3 가 없어서 소스는 약간 수정해서 사용 했다.
다양한 llm 도 선택해서 사용할 수 있고, 나는 로컬에서 돌릴거라서 ollama 띄워놓고 사용했다.
기존 LLM 이 있고, Planner LLM 을 따로 선택하는거 보니
Step 을 정할 때 LLM 을 각각 사용하는 것 같았다. 로그에서도 일부 보임
이런식으로 로그를 보면
진행 사항도 체크 하고, Next Step도 파악을 한다.
Browser Use 가 기본 playwright 보다 특히 좋은점은
각 웹페이지를 분석해서 클릭을 할 영역을 눈으로도 보기 좋게 표시해 준다는 거다.
실제로 로그를 보면 각 영역의 번호가 있는데
llm이 잘 판단을 해서 해당 영역의 번호 부분을 클릭해서 다음으로 진행되는게 보인다.
Step을 7단계나 거치면서 잘 수행하고, 기사를 번역해서 요약까지 잘 됐다.
그리고 마무리로 중간중간 스크린 캡쳐 한 이미지로 GIF 를 만드는데
어떤 Action 을 수행했는지도 적어 놨다.
정말 이런 단순? 작업 아니, 인간이 컴퓨터와 할 수 있는 거의 대부분의 일은
이제 AI가 하게 되었다.
좋으면서도 싫은
AI 자동화 일단 끝.
'AI' 카테고리의 다른 글
오픈소스 한국어 TTS : fish-speech / openaudio-s1-mini (0) | 2025.07.15 |
---|---|
AI 키스 동영상 만들기 (feat. veo) (2) | 2025.05.22 |
나도 AI 팟 캐스트 만들어 봄 (손에 잡히는 경제?!) (0) | 2025.05.09 |
ComfyUI 로 동영상 만들기 (Hunyuan gguf) (0) | 2024.12.19 |
가성비 AI 컴퓨터 조립 사양 (GPU 16G - ollama, comfyui 용 컴퓨터) (0) | 2024.11.09 |