작품개요

스마트폰과 같은 소형 디바이스에 딥러닝 모델을 사용하기 위해 모델을 압축하는 여러 가지 방법론 중에 Teacher network와 Student network 간의 지식 전달을 토대로 모델을 압축하는 knowledge distillation 관련 연구입니다. 기존 knowledge distillation 연구가 주로 Teacher network에서 Student network로 단방향적인 지식 전달 흐름인 반면, 본 연구는 Teacher network와 Student network간의 양방향 지식 전달의 구조로 모델을 설계하고 실험을 진행하였습니다. 이를 통해 Student network의 상태를 토대로 Teacher network가 정보를 선별하여 전달해주는 식의 모델구조입니다.