작품개요

모델 경량화 기법은 성능에 큰 차이가 없는 선에서 불필요한 head, layer나 parameter를 제거하여 model size를 줄임으로써 메모리 크기와 프로세서 성능 등의 하드웨어 문제를 해결하고, 학습 속도를 높일 수 있는 최적화 기법이다. 본 연구에서는 모델 경량화 기법이 적용된 다양한 자연어 모델들을 조사하고 GLUE benchmark를 이용해 성능을 비교 분석하여 가장 효율적인 모델 경량화 기법을 찾아보고자 한다.