信息論是關于數(shù)據(jù)表示、壓縮以及傳輸?shù)幕A理論。本課程重點介紹信息論的基本概念與核心定理——熵、互信息、信源編碼定理、信道編碼定理，以及信息論在人工智能應用領域的一些應用——Kolmogorov復雜度、最小表示長度、最大熵原理。這些概念與原理為學生將來在機器學習、模式識別、信號處理等領域的進一步學習打下必備基礎。