2023年9月10日，李世华教授邀请新加坡南洋理工大学谢立华教授作了主题为“Reinforcement Learning-Based Control of Uncertain Nonlinear Systems”的学术报告。
图1 报告现场
强化学习（RL），灵感来自自然界中的学习行为，是一种目标导向的学习策略，代理通过与环境互动来学习优化预先定义的奖励的策略。由于具有数据驱动、在达到最优行为方面的有效性以及对不确定环境的适应性，强化学习在控制领域经历了快速发展。
报告揭示了针对已知标称部分的不确定非线性系统的基于强化学习的干扰抑制控制方法。该方法的核心在于设计了一种先进的扩展状态观测器，其功能不仅在于估计系统的状态，还包括总不确定性的准确估计。谢立华教授指出，这一创新性的观测器使控制器能够有效地对总不确定性进行补偿，同时还利用基于经验的强化学习技术在线逼近最优策略。令人振奋的是，这一方法无需依赖PE条件或探测信号，为实际应用带来了更大的灵活性和可行性。
此外，谢立华教授还在演讲中提到了对于那些具有未知标称部分的系统的扩展。他与他的团队一同开发了一种独创性的并行自适应扩展观测器，该观测器不仅可以联合估计系统的参数和状态，还利用基于经验的强化学习技术来逼近最优策略，这对于处理复杂的实际问题具有巨大的潜力。谢立华教授的报告引发了与会者的广泛兴趣，并产生了激烈的讨论，他的研究成果将有望在未来的控制领域中引领创新，为解决实际问题提供了令人瞩目的新途径。
报告人简介：
图2 谢立华教授
谢立华教授分别于1983年和1986年获得南京理工大学的工学学士和硕士学位，并于1992年在澳大利亚纽卡斯尔大学获得博士学位。他目前是新加坡南洋理工大学电气与电子工程学院的教授，以及先进机器人技术创新中心的主任。他曾担任控制与仪器工程分部主任以及Delta-NTU企业实验室的网络物理系统总监。他的研究领域包括控制工程、室内定位和无人系统。他撰写和合著了10本专著、500多篇期刊论文和25项专利，并入选高被引科学家。他目前是《Unmanned Systems》期刊的主编，并曾担任IET Book Series on Control的编辑以及IEEE Transactions on Automatic Control、Automatica、, IEEE Transactions on Control Systems Technology、IEEE Transactions on Control of Network Systems等期刊的编辑。他曾担任IEEE杰出讲师（2011-2014）。他是CDC 2023的总主席，并将于2024年1月起担任IEEE控制系统协会的副主席。谢立华教授是新加坡工程院院士和IEEE、IFAC以及中国自动化学会的会士。