[ICT 시사용어] 지식 증류(Knowledge Distillation)

"지식 증류(Knowledge Distillation)는 성능이 높은 대형 인공지능(AI) 모델의 지식과 판단 방식을 더 작은 모델로 이전하는 기술이다. 처음부터 데이터를 모으고 막대한 연산 자원을 들이지 않아도 앞선 모델의 능력을 상당 부분 옮겨올 수 있다. 2015년 제프리 힌턴 등이 논문으로 체계화 했다."