AI 용어집 · 입문 · 언어 모델
파라미터 Parameter, 매개변수
파라미터는 AI 모델이 학습하면서 스스로 조정하는 내부 숫자들입니다. 모델이 배운 지식과 판단 방식이 이 숫자들 속에 담겨 있습니다.
쉽게 말하면 거대한 음향 믹서에 달린 수많은 조절 손잡이와 비슷합니다. 학습은 원하는 소리가 나도록 손잡이 하나하나를 조금씩 돌려 맞추는 과정이라고 볼 수 있습니다.
어떻게 작동하나
모델은 처음에 파라미터가 거의 무작위 값인 상태에서 시작합니다. 학습 데이터를 보며 정답과 얼마나 다른지 계산하고, 그 차이를 줄이는 방향으로 파라미터를 조금씩 바꿉니다. 이 과정을 아주 많이 반복하면 파라미터에 언어 규칙이나 지식 같은 패턴이 쌓입니다.
왜 중요한가
모델 이름 뒤에 붙는 'B'(10억 단위) 숫자는 보통 파라미터 수를 뜻합니다. 파라미터가 많을수록 더 복잡한 것을 배울 수 있는 경향이 있지만, 그만큼 실행에 더 많은 메모리와 계산이 필요합니다. 그래서 파라미터 수는 모델의 크기와 운영 비용을 가늠하는 지표로 자주 쓰입니다.
알아 둘 점
파라미터 수가 많다고 무조건 더 좋은 모델은 아닙니다. 학습 데이터의 질, 학습 방법에 따라 작은 모델이 큰 모델보다 나은 경우도 있습니다. 또 MoE처럼 전체 파라미터 중 일부만 골라 쓰는 구조도 있어서, 전체 수와 실제로 쓰이는 수를 구분해서 볼 필요가 있습니다.
예시
이 사이트에 소개된 'Paradee'는 기존 음성 합성 모델을 훨씬 적은 파라미터의 작은 모델로 증류한 사례입니다. 이렇게 파라미터를 줄이면 휴대폰 같은 작은 기기에서도 모델을 돌리기 쉬워집니다.
이 사이트에서 나온 사례
- 브리핑 Mistral AI, 'Mistral Large 4' 퍼블릭 프리뷰 공개…오픈웨이트는 이달 말 공개 예정 2026-10-07
- 브리핑 AWS, Amazon Bedrock에서 Z.ai의 753B MoE 모델 'GLM 5.3' 제공 2026-10-07
- 브리핑 Paradee: Kokoro-82M을 8M 파라미터 단일 음성 TTS로 증류 2026-10-06