[ML/LLM] Small Language Models are the Future of Agentic AI
Title
Small Language Models are the Future of Agentic AI
Links
Summary
최근에 공개된 이 논문은, 대규모 언어 모델(LLM)이 전성기를 누리는 지금, 오히려 작지만 날카로운 모델(Small Language Models, SLM)이 더 적합한 대안이 될 수 있다는 중요한 관점을 제시합니다. 이 글에서는 SLM이 왜 에이전트 중심 AI 시스템에서 빛날 수밖에 없는지, 논문의 핵심을 차분히 짚어보려 합니다.
SLMs are:
V1 principally sufficiently powerful to handle language modeling errands of agentic applications
V2 inherently more operationally suitable for use in agentic systems than LLMs
V3 necessarily more economical for the vast majority of LM uses in agentic systems than their general-purpose LLM counterparts by the virtue of their smaller size
우리가 흔히 마주하는 AI 에이전트의 업무는 무척 정형적입니다. API 호출, 명확한 포맷, 예측 가능한 입력—이러한 반복적 양식을 다루기 위해, 웬만큼 크고 복잡한 모델은 오히려 과잉입니다. 반면 SLM은 필요한 능력을 딱 갖추었고, 무엇보다 빠르고 효율적으로 동작합니다.
흥미롭게도 논문은 최신 SLM 사례들을 나열하며 그 효용을 증명합니다. 예컨대 Microsoft의 Phi‑2 모델은 2.7B 파라미터밖에 안 되지만, 코드 생성이나 상식 추론에서 30B급 모델과 견줄 만한 성능을 보여줍니다. SmolLM2나 DeepSeek‑R1‑Distill 등도 유사한 성능 대비 우수한 효율성을 보이죠. 추론 속도, 에너지 소모, 운영 비용 면에서 10배 이상 이익이 있다는 점은 SLM이 갖는 설계적 매력을 더욱 확실히 해줍니다.
무엇보다 중요한 것은, SLM이 에이전트 시스템의 모듈성과 잘 맞아떨어진다는 사실입니다. 에이전트를 설계할 때, 다양한 도메인이나 규제 요건에 맞춰 빠르게 SLM을 fine-tuning 해 투입할 수 있다는 유연함은 LLM이 쉽게 따라잡기 힘든 강점이죠. 경량화된 추론, 현장 대응력, 유지 보수의 편리함까지 고려하면, SLM 중심의 설계는 단순한 대체가 아니라 전략적 선택입니다.
논문은 여기서 멈추지 않습니다. 기존 LLM 기반 시스템을 점진적으로 SLM으로 전환할 수 있는 실용적인 방법론까지 제시합니다. 먼저, 로그 데이터를 분석해 반복적 태스크를 추출하고, 여기에 적합한 SLM을 선정한 뒤, LoRA나 DoRA 같은 PEFT 기법으로 미세 조정합니다. 이후 성능을 지속적으로 모니터링하며 효율성을 확보한다는 접근입니다. 실제 사례로 MetaGPT, Open Operator, Cradle 같은 프레임워크에서는 전체 LLM 호출의 약 40–70%를 SLM으로 대체할 수 있었다는 흥미로운 결과도 언급됩니다.
이 논문이 우리에게 남기는 핵심 메시지는 명료합니다. SLM은 단순히 ‘작은 모델’이 아니라, AI 에이전트 인프라의 지속 가능성과 비용 효율성, 그리고 운영의 유연성을 동시에 충족하는 새로운 설계 철학입니다. LLM의 크기 경쟁을 넘어, 실제 문제 해결에 집중할 때 SLM은 분명 경쟁력 있는 선택이 됩니다.