AJOU SOFTCON 아주대학교|소프트웨어융합교육원

자기주도연구

모델 앙상블과 지식 증류의 융합을 통한 모델 학습의 최적화

작품개요

지식 증류와 그 상위 버전인 Teacher Assistant Knowledge Distillation 네트워크의 단점을 극복하고자 새로운 형태의 지식 증류 네트워크 구조를 고안하고자 한다. 비슷한 문제 해결을 위해 제시된 Densely Guided Knowledge Distillation으로부터 영감을 얻어 모델 앙상블과 지식 증류를 결합한 구조를 고찰해보도록 한다.

발표자료

발표동영상

※영상이 보이지 않을 시, 오른쪽 위 전체창 보기를 클릭하세요 view_ap