에이아이수익화 썸네일형 리스트형 데이터 보안과 API 비용 사이에서의 타협점: 로컬 LLM Ollama 도입기 데이터 보안과 API 비용 사이에서의 타협점: 로컬 LLM Ollama 도입기외부 API 대신 내 서버에서 직접 LLM을 돌리겠다는 야심 찬 계획이 있었다. 보안도 지키고 비용도 아끼는 두 마리 토끼를 한 번에 잡으려 했지만, 실제 현실은 달랐다. 올라마(Ollama) 도입 과정에서 마주친 VRAM 한계와 속도 충격, 그리고 결국 찾아낸 실용적 타협점을 기록한다.위 화면은 70B 모델 구동 시 CPU 사용률이 최대치로를 찍으며 시스템이 응답 불능 상태에 빠진 순간의 작업 관리자 캡처다. GPU VRAM이 모자라 연산이 CPU로 넘어가는 순간 서버는 마비 직전까지 몰렸다.[배경] 보안과 비용, 두 마리 토끼를 잡고 싶었습니다회사 내부에서 AI의 활용 빈도가 늘어날수록, 자연스럽게 두 가지 큰 벽에 부딪혔습.. 더보기 텔레그램 봇으로 일일 보고 시스템을 만들며 겪은 API의 매운맛 텔레그램 봇으로 일일 보고 시스템을 만들며 겪은 API의 매운맛텔레그램 봇 API를 활용해 매일 아침 자동으로 서비스 현황을 보고받는 시스템을 구축하려 했다. 그런데 메시지가 오지 않거나, 5번씩 중복으로 쏟아지거나, 텍스트가 외계어로 깨지는 문제가 연속으로 터졌다. 텔레그램 API의 3가지 숨겨진 함정을 직접 뚫어본 기록이다.이러한 문제들을 해결하기 위해 처음 작성했던 파이썬 코드의 일부를 살펴보면 그 원인을 짐작할 수 있다.위 화면은 텔레그램 봇이 서비스 일일 현황 데이터를 전송하는 코드 작업 화면이다. 이 코드는 완성 직후 서버에 올렸을 때 메시지가 오지 않거나, 반대로 동일한 메시지가 연달아 5번 쏟아지는 예상치 못한 문제를 일으켰다. 보기엔 단순한 API 연동 코드지만, 메시지 길이 제한·Rat.. 더보기 이전 1 다음