《SUSTech Lecture Series 第396期》周孟初 教授：推动知识蒸馏技术发展的多学科方法
- 题目: 推动知识蒸馏技术发展的多学科方法
- 主讲人：周孟初 教授 @ 新泽西理工学院电气与计算机工程系
- 时间：2025年3月19日 16:00-17:00
- 地点：工学院南楼424会议室
主讲人简介
周孟初教授于1983年获得南京理工大学控制工程学士学位，1986年获得北京理工大学自动控制硕士学位，1990年获得伦斯勒理工学院计算机与系统工程博士学位。1990年，他加入新泽西理工学院电气与计算机工程系，现为杰出教授。他的研究领域包括智能自动化、机器人、Petri网、物联网、边缘/云计算、人工智能和大数据分析。他发表了1300多篇学术成果，包括17本书籍、900多篇期刊论文（包括700多篇IEEE Transactions论文）、31项专利和32本书籍章节。曾获美国新泽西理工学院杰出研究奖和奖章、美国洪堡基金会颁发的美国资深科学家洪堡研究奖、IEEE系统、人与控制论学会颁发的Franklin V. Taylor纪念奖和Norbert Wiener奖、新泽西州研究与发展委员会颁发的爱迪生专利奖。他是美国华人科学技术协会终身会员，并于1999年担任该协会主席。他是美国国家发明家科学院（NAI）院士，IEEE、国际自动控制联合会(IFAC)、美国科学促进会(AAAS)、中国自动化学会(CAA)的会士。
讲座简介
现有的知识蒸馏研究主要集中在以教师网络为中心的方法上，即先根据教师网络自身的标准对其进行训练，然后将所学知识传授给学生网络。然而，由于教师网络和学生网络结构的差异，前者所学的知识可能并不完全符合后者的需求。受人类教育智慧、自动控制理论和模糊逻辑概念的启发，我们提出了一种以学生为中心的蒸馏（SCD）方法，使教师网络能够根据学生网络的实际需求调整其知识传递。我们基于多种人类教育智慧来实现该方法，例如，教师网络在验证集上识别并学习学生网络所需的知识，然后通过训练集将其传递给后者。为解决学生网络在学习过程中面临的知识不足、难样本学习和知识遗忘等问题，我们引入并改进了控制系统领域的比例-积分-微分（PID）算法，使其能够有效识别学生网络当前所需的知识。此外，我们提出了一种基于课程学习的模糊逻辑策略，并将其应用于所提出的 PID 控制算法，使学生网络能够主动关注难样本的学习。实验结果表明，SCD在计算机视觉任务上优于现有的以教师为中心的方法。
海报链接
