LLama 3.2의 출시: 가정용 PC에서도 가능해진 LLM

LLama 3.2가 새롭게 출시되었습니다. 이번 버전에서 가장 인상 깊었던 점은 모델의 크기가 작아졌다는 것입니다. LLama 3.1에서는 가장 작은 모델이 8B였지만, 이번 LLama 3.2에서는 1B, 3B 모델까지 출시되었습니다. 이로 인해 상대적으로 작은 GPU를 보유한 사용자들도 부담 없이 LLM(대규모 언어 모델)을 활용할 수 있게 되었습니다.

 

작은 모델의 등장과 그 의미

1B, 3B 모델의 출시는 특히 고사양 GPU가 없는 사용자들에게 희소식입니다. 8B 이상의 대형 모델을 실행하기에는 고성능 GPU와 많은 메모리가 필요했지만, 이번에는 3GB 정도의 메모리만으로도 충분히 사용할 수 있게 되었습니다. LLama 3.1의 8B 모델과 비교하면 성능 면에서는 다소 떨어지지만, 중요한 것은 이제 훨씬 더 많은 사용자들이 LLM을 접하고 사용할 수 있는 기회를 갖게 되었다는 점입니다.

이를 통해 연구 목적으로 LLM을 사용하려는 사람들, 개발자들, 그리고 AI를 배우고자 하는 많은 학생들이 GPU 부담을 크게 덜게 되었습니다. 작은 파라미터 모델임에도 불구하고 기본적인 질문에 대한 응답은 가능하므로, 다양한 실험과 응용을 기대할 수 있습니다.

 

실습

Hugging Face를 이용한 예제 실행
LLama 3.2 모델을 직접 실습해본 결과, Hugging Face에서 제공하는 예제를 사용해 문장을 출력하는 데 성공했습니다. GPU 메모리 3GB만 소모되었으므로, 제가 보유한 6GB 메모리의 GPU에서도 무리 없이 작동했습니다.

위 코드 예시처럼 모델에게 특정 스타일의 응답을 하도록 설정한 뒤 실행했을 때, 예상대로 문장이 잘 출력되었습니다. 이를 통해 LLama 3.2는 실용적인 응답을 생성할 수 있음을 확인했습니다.

llama3.2.py

0.00MB

messages = [

    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},

    {"role": "user", "content": "Who are you?"},

]

 

한국어 출력도 시도해보았습니다. 한국어로 문장을 작성하고 질문을 했을 때, 결과는 약간 아쉬운 수준이었습니다. 만족스러울 정도의 자연스러운 출력은 아니었으며, 특정 상황에서는 의미가 불분명한 문장이 출력되기도 했습니다. 이를 개선하려면 한국어에 맞춘 fine-tuning과 같은 추가적인 작업이 필요할 것으로 보입니다.

messages = [

    {"role": "system", "content": ""},

    {"role": "user", "content": "맛있는 점심메뉴를 고르는 방법을 알려줘"},

]

질문 2

messages = [

    {"role": "system", "content": ""},

    {"role": "user", "content": "아침형 인간의 장점을 소개해줘"},

]

위 코드와 같이 한국어 질문을 입력하면 답변이 나오기는 했지만, 영어 모델에 비해 약간의 부족함이 느껴졌습니다.

 

결론

LLama 3.2의 등장은 가정용 PC에서도 충분히 구동 가능한 오픈 소스 LLM 모델이라는 점에서 큰 의미가 있습니다. 비록 사전 학습만 된 모델의 성능이 아직 완벽하진 않지만, 낮은 파라미터를 가진 모델로도 다양한 활용을 할 수 있을 것이라는 기대를 가지게 합니다.

앞으로는 추가적인 fine-tuning과 다양한 언어 지원을 통해 더욱 발전된 성능을 제공할 수 있을 것입니다. 특히 한국어와 같은 비영어권 언어에 대한 출력 성능이 개선된다면, 전 세계적으로 더 많은 사용자들에게 혜택을 줄 수 있을 것으로 기대됩니다.