2022年，旗下 与瑞士洛桑联邦理工学院瑞士等离子体中心联合，开发了一个人工智能深度强化学习系统，并成功实现对托卡马克内部核聚变等离子体的控制。

近日，他们在此前研究的基础之上，在人工智能可控核聚变领域取得新突破：不仅通过实验模拟将等离子体形状的精度提高了 65%，还让新任务学习所需的训练时间实现 3 倍及以上的减少。

【资料图】

（来源： 截图）

长期以来，相关领域的科学家们，一直在寻找清洁、取之不尽的能源，以缓解全球能源危机。核聚变是其中一种潜在的路径。

作为一种为宇宙中的恒星提供动力的方式，核聚变涉及到将氢核聚变，而氢是海水中常见的元素。只有掌握反应堆内部的的物理原理，人类才能通过核聚变获取想要的清洁能源。

几十年来，全球范围内的科学家们一直致力于托卡马克装置的研究。它是一种被磁线圈包围的大型环形容器，产生用于驱动等离子体的可变磁场。由于托卡马克中的等离子体不稳定，因此设计该线圈的控制系统是一个复杂的过程，每当等离子体的所需配置发生变化时都必须重复该过程。

为此，2022年， 和瑞士等离子体中心合作，构建了一个使用人工智能设计托卡马克控制器的三步流程。首先，实验设计者为等离子体的各种物理参数提供一组目标值，比如电流、位置和伸长率，这些目标被转化为用于强化学习训练的奖励函数。强化学习算法与模拟托卡马克环境交互，并尝试找到该奖励函数的最佳控制策略。

图丨通过深度强化学习对托卡马克等离子体进行磁控制（来源：Nature）

由于仿真环境的运行速度相对较慢，因此 使用了一种被称为最大后验策略优化的行动者-批评者算法来优化控制器策略。在这个方案中，研究人员使用了更大的循环神经网络，它可以模拟托卡马克复杂的时域动力学。

研究人员进行了一系列典型的等离子体实验，在这些实验中，控制器调控等离子体所需的电流、形状和位置等参数值。在所有实验中，控制器都将所需值保持在可接受的容差范围内。该系统被用于瑞士等离子体中心的托卡马克装置上，能控制其中的磁铁两秒钟，这是反应堆在过热之前可以运行的最长时间。

（来源： 官网）

2022 年 2 月 16 日，相关论文以《基于深度强化学习的托卡马克等离子体磁控制》（）为题在 Nature上发表[1]。

图丨相关论文（来源：Nature）

研究人员乔纳斯·德格拉夫（Jonas Degrave）、乔纳斯·布赫利（），以及瑞士等离子体中心研究人员费德里科·费利奇（Federico Felici）为该论文的共同第一作者，费德里科·费利奇、和布兰登·D·特雷西（Brendan D. Tracey）担任该论文的共同通讯作者。

然而，强化学习具有诸多缺点，影响了控制托卡马克等离子体的效果。在最新的这项研究中，相关研究人员使用了与 2022 年研究成果相同的基本实验设计，并攻克了其中三方面的难题。

第一，他们提出了一种奖励函数塑造的方法，并将其作为直观和简单的解决方案，进一步提高控制精度；第二，为了在积分器反馈中解决稳态误差问题，他们给智能体提供清晰的误差和集成误差信号，这减少了经典控制器和强化学习控制器之间的精度差距；第三，在章节分块和迁移学习中，他们克服了生成控制策略需要花费的训练时间问题。

其中，值得一提的是，他们使用多重启动方法，来解决放电问题，这极大地减少了所需的训练时间。

总的来说，这些技术让训练时间和准确性分别实现了有效的减少和提升，帮助深度学习技术成为等离子体控制的常规可用技术。

几天前，新的相关论文以《面向托卡马克磁控制的实用强化学习》（）为题在预印本网站arXiv上发表[2]。

图丨相关论文（来源：arXiv）

的研究人员布兰登·D·特雷西、安德里亚·米奇（Andrea Michi）、尤里·切尔沃尼（Yuri Chervonyi）和伊恩·戴维斯（Ian Davies）为该论文的共同第一作者。

未来， 团队不仅会继续推动模拟性能的提升，还将在硬件上匹配实际等离体子放电时的性能水平。