퍼플렉시티(perplexity)는 자연어 처리 분야에서 모델의 성능을 평가하는 중요한 지표 중 하나입니다. 이 값은 주어진 텍스트의 예측 난이도를 나타내며, 낮은 퍼플렉시티는 모델이 해당 데이터를 잘 이해하고 있다는 것을 의미합니다. 반대로 높은 퍼플렉시티는 모델이 예측하기 어려운 패턴을 포함하고 있다는 신호일 수 있습니다. 따라서 퍼플렉시티는 AI 언어 모델의 품질을 평가하는 데 필수적인 요소로 자리 잡고 있습니다. 아래 글에서 자세하게 알아봅시다.