AnyLogic 中的 Pathmind 强化学习实验 – AnyLogic仿真软件

我们在AnyLogic 8.7.4版中新加入了一项能够直接链接到 Pathmind 强化学习 (RL) 平台的新实验，可帮助仿真建模人员和人工智能相关从业人员充分利用仿真和 AI 之间的协同作用。实践证明，对于大型复杂系统，通过 Pathmind 强化学习平台得到的解决方案要优于固定成熟的常规启发式算法。

本篇博文主要介绍了集成Pathmind 的AnyLogic新实验，并重点介绍了 Engineering Group 使用 Pathmind RL 平台做的两个工业案例。

从AnyLogic 8.7.4 版开始，仿真建模人员可以直接从 AnyLogic 内部集成访问 Pathmind RL SaaS 平台。Pathmind RL 平台抽象了应用强化学习的复杂性，让建模者可以只专注于他们的仿真和结果。

开始新实验前，确保您已经安装了AnyLogic8.7.4或以上版本（您可以更新已有程序或新下载程序），并按照AnyLogic帮助中的RL实验指南进行操作。实验还加入了微软的Bonsai实验。您可以通过AI与仿真的集成页面了解更多AnyLogic仿真与人工智能结合的说明。

在INFORMS举办的2021年度商业分析大会中，Engineering Group 仿真与数字孪生实践总监 Luigi Manca ，在其演讲中详细介绍了在工业 4.0 背景下深度强化训练和机器学习应用的两个工业案例。以下是案例摘要，附有演示云模型和相关资料的链接。

一家拥有3名维护人员和20台涡轮机的风电场，使用强化学习开发的维护策略，其性能优于常用的启发式算法获得的维护策略30% 以上。

传统的调度维护策略的制定依赖于变量的固定阈值，例如设备的剩余使用寿命 (RUL)，并且无法抓取操作和环境因素。另外，传统方法还使用诸如先进先出 (FIFO) 之类的策略来安排服务人员任务，这会导致任务之间的路线不理想。

Engineering 案例中的 Pathmind RL 策略会考虑大范围的状态输入并允许进行更大的优化，进而产生动态结果。

Pathmind RL策略会考虑：

数据越多，越有助于强化学习确定更好的策略。这种方法立足于大量的信息上，并根据传统方法可能忽略的相互依赖性生成策略，看起来可能有点违反直觉。仿真模型的优势是结果的可视化及可验证性。

您可以尝试在下面的云模型中将Pathmind RL策略和其他启发式算法策略方法进行对比。

要了解更多案例开发的相关信息，请参阅本博客末尾的演示视频、阅读相关文章或阅读Pathmind关于客户成功案例的博客。

通过强化学习优化了重型机械的运动，减少了一条复杂且高度自动化的定制订单生产线上的瓶颈。Engineering 在工厂中应用 Pathmind RL 的结果进行优化，协调对象的数量增加了 66%，运动次数减少了 11%。

通过基于智能体、离散事件的方法和流程建模库混合建模，在AnyLogic仿真模型中抓取工厂中的操作。该模型为 Pathmind RL 平台上的强化学习提供了有效的仿真环境。

该模型和 RL 平台共同为工厂操作员提供了一个管理生产线调度的灵活平台。与手动决策或传统启发式算法优化的系统相比，其生产速度更快，更能适应系统的变化。

可以通过在线模型查看关于机器运动的示例。

该项目在早期解决工厂瓶颈模型的基础上应用了人工智能。 您可以在博客用人工智能和仿真技术解决工业问题中详细了解强化学习模型的问题和发展。

AnyLogic 团队一直致力于改进仿真建模。订阅我们的简讯，了解最新动态和资讯。