로컬은 Ollama, 서버는 vLLM, 괴물 모델은 KTransformers
LLM 실행 도구를 고르는 기준은 모델이 아니라 병목이다
오픈소스 LLM을 직접 실행하려고 찾아보다 보면 비슷해 보이는 도구들을 계속 만나게 된다. 로컬에서 모델을 실행하려고 하면 Ollama가 나오고, LLM API 서버를 구축하려고 하면 vLLM이 등장한다. DeepSeek-R1처럼 수백B 규모의 초거대 모델까지 관심을 넓히면 이번에는 KTransformers라는 이름이 보인다. 처음에는 셋 다 비슷해 보인다. 결국 모델 파일을 메모리에 올리고 GPU로 추론하는 프로그램 아닌가? 큰 범위에서 보면 맞다. 하지만 실제로는 세 도구가 해결하려는 병목이 다르다. | 상황 | 먼저 볼 도구 | 해결하려는 문제 | | -------------------------
