기업이 LLM을 사용하는 방법

서론

ChatGPT로 시작된 LLM이 직장인들의 생산성을 크게 높였다. 처음에는 개인의 직장인이 각자 LLM을 사용해 맡은 업무를 빠르고 정교하게 처리하는 도구로 활용됐다. 대부분 유용성을 느낀 개인들이 자연스럽게 써오면서, 이제는 기업 차원에서의 도입 움직임도 시작되었다. 일부 회사들이 도입해 효과를 본 사례는 있었지만, 아직 기업 특성에 맞게 제대로 적용해 큰 효과를 본 곳은 드물다. 그래서 기업이 어떤 관점에서 LLM을 도입하면 좋을지 고민해보았다.

 

회사에서 도입하면 생기는 장점

1. 비용 효율성

개인 단위로 결제할 경우 비용이 분산되고 예측이 어렵다. 기업 단위로 라이선스를 관리하면 비용을 통제하기 쉽고, 규모의 경제를 활용할 수 있다.

 

2. 맞춤 커스텀

모든 기업은 고유한 업무 방식, 전문 용어, 내부 데이터를 가지고 있다. 이러한 도메인 지식을 LLM에 학습시키거나 Finetuning하게 된다면 더 정확하고 실용적인 결과를 얻을 수 있다. 특히 자체 규정이나 용어가 많은 조직에서 효과적이다.

 

 

도입 규모별 접근 방식

1. 개인

기존과 같이 개인별로 LLM 도구를 사용하는 방식이다. 각자가 필요에 따라 업무 속도와 정확성을 높이는 데 활용한다.

 

2. 팀

팀 내에서 LLM을 공동 활용해 문서 요약, 템플릿 작성, 코드 리뷰 등을 지원한다.
또한, 팀에서 작성한 문서를 검색하거나 관련 자료를 신속하게 찾아볼 수 있게 해 지식 공유 효율을 높인다.

 

3. 전사적 규모

모든 팀의 수행 과업을 검색·공유할 수 있는 체계를 구축한다. 이를 통해 프로젝트 간 중복 업무를 최소화하고 사전에 관련 자료나 협업 대상 팀을 탐색·연결할 수 있다. 이 단계에서는 LLM이 단순한 도구를 넘어, 조직 전체의 지식 네트워크로 기능하게 된다.

 

 

현실적인 LLM 도입 방법

1. RAG 적용

RAG는 LLM의 출력 전, 외부 또는 내부 지식 기반에서 관련 정보를 검색하여 응답에 반영하는 방식이다. 이를 통해 최신 정보 반영, 정확성 향상, 환각 감소 효과가 있다.

다만, RAG 도입의 성패는 문서 관리체계에 달려 있다. 내부 문서의 품질, 접근성, 구조화 수준이 낮으면 RAG가 제 기능을 발휘하기 어렵다. 따라서 문서가 잘 정리되어 있어야 하고, 전사적으로 공유할 수 있는 시스템이 갖춰져야 한다. 현재 기술 수준에서는 문서 형식이 표준에서 크게 벗어나지 않도록 유지하는 것이 중요하다.

 

2. 사용성 편리

정확도와 속도는 LLM 도입 성공의 핵심 조건이다. 아무리 기능이 좋아도 반응이 느리거나 결과가 부정확하면 현업에서 외면받는다. 매년 수많은 AI 도구가 출시되지만, 실제 업무 현장에서 유의미한 성과를 내는 경우는 드물다. 따라서 실사용 환경에서의 성능 검증이 필수다.

 

3. AI 에 대한 이해

AI로 할 수 있는 일과 할 수 없는 일을 구분해야 한다. LLM은 모든 것을 자동으로 만들어주거나 결정을 내려주는 존재가 아니다. 대신, 여러 선택지 중 유효한 옵션을 빠르고 효율적으로 골라주는 ‘유능한 조언자’ 역할을 한다. 이를 올바르게 이해해야 기대치와 실제 성과 간의 괴리를 줄일 수 있다.