오픈소스llm 썸네일형 리스트형 데이터 보안과 API 비용 사이에서의 타협점: 로컬 LLM Ollama 도입기 데이터 보안과 API 비용 사이에서의 타협점: 로컬 LLM Ollama 도입기외부 API 대신 내 서버에서 직접 LLM을 돌리겠다는 야심 찬 계획이 있었다. 보안도 지키고 비용도 아끼는 두 마리 토끼를 한 번에 잡으려 했지만, 실제 현실은 달랐다. 올라마(Ollama) 도입 과정에서 마주친 VRAM 한계와 속도 충격, 그리고 결국 찾아낸 실용적 타협점을 기록한다.위 화면은 70B 모델 구동 시 CPU 사용률이 최대치로를 찍으며 시스템이 응답 불능 상태에 빠진 순간의 작업 관리자 캡처다. GPU VRAM이 모자라 연산이 CPU로 넘어가는 순간 서버는 마비 직전까지 몰렸다.[배경] 보안과 비용, 두 마리 토끼를 잡고 싶었습니다회사 내부에서 AI의 활용 빈도가 늘어날수록, 자연스럽게 두 가지 큰 벽에 부딪혔습.. 더보기 이전 1 다음