작품개요

지식 증류와 그 상위 버전인 Teacher Assistant Knowledge Distillation 네트워크의 단점을 극복하고자 새로운 형태의 지식 증류 네트워크 구조를 고안하고자 한다. 비슷한 문제 해결을 위해 제시된 Densely Guided Knowledge Distillation으로부터 영감을 얻어 모델 앙상블과 지식 증류를 결합한 구조를 고찰해보도록 한다.