赵春红

摘要：为提高铝电解工艺参数优化能力，基于近端策略优化（PPO）深度强化学习算法，构建铝电解工艺参数优化模型，以实现铝电解工艺优化求解。对铝电解工艺流程进行介绍，确定其工艺中的重要技术参数;然后将深度与强化学习相结合，建立铝电解参数寻优模型。在原始 PPO 算法基础上加入RMSProp 算法和冲量思想得到M-RMSProp-PPO 算法，将该算法应用到模型中进行铝电解工艺参数寻优。结果表明：改进后算法可实现快速收敛，累计奖赏高达15%，说明改进后的算法性能更优越;与决策树算法进行搭配后，可以得到铝电解工艺优化最优组合。

关键词：铝电解;工艺优化;深度强化学习;M-RMSProp-PPO

中图分类号：TP392

文献标识码：A文章编号：1001-5922（2022）06-0186-05

Optimization of aluminum electrolysis technology based on artificial intelligence algorithm

ZHAO Chunhong

（Sichuan Vocational College of Culture & Communication， Chongzhou 611200， Sichuan China

）

Abstract：In order to improve the parameter optimization ability of the aluminum electrolysis process， the aluminum electrolytic process parameter optimization model is constructed based on the proximal strategy optimization （PPO） deep reinforcement learning algorithm to realize the optimization and solution of the aluminum electrolysis process. First， the aluminum electrolysis process is introduced to determine the important technical parameters in the process; then combine depth and reinforcement learning to establish the aluminum electrolytic parameter optimization model; add RMSProp algorithm and impulse idea based on the original PPO algorithm to obtain M-RMSProp-PPO algorithm and apply it to the model to optimize the aluminum electrolytic process parameters. The experiment show that the improved algorithm can achieve rapid convergence with a cumulative reward of 15%， indicating that the improved algorithm is superior; after matching with the decision tree algorithm， the optimal combination of aluminum electrolysis process could be obtained.

Key words：aluminum electrolysis; process optimization; deep reinforcement learning; M-RMSProp-PPO

我國制造业的不断发展，铝电解的生产需求呈爆炸式增长，将铝与多种金属材料组合后可以得到新的合成金，而合成金广泛应用于工业领域、发动机和电动机等，其具有较好的发展前景。然而，传统的铝电解生产主要受工艺人员经验限制，工艺优化方法主观性太强，从而导致工艺优化效率低、稳定性差，

不能达到当前工业领域的高效铝电解生产需求。因此，提出一种新的工艺优化方法对当前铝电解运用具有重要的研究意义。有学者提出将BP-ANN-MCSA算法应用到电弧增材工艺中，进行参数寻优，其利用BP神经网络的深层学习特性，实现增材工艺参数寻优，且寻优速率提升了10%，具有一定的可行性[1];在近端策略优化算法PPO的基础上，加入RMSProp，并构建一个基于改进RMSProp-PPO算法的铝电解参数寻优模型，通过此模型实现率电解的优化求解，模型性能优越[2];集合深度强化学习的特性，将其应用到电气综合能源系统优化调度中，通过建立深度强化学习DRL模型和惩罚机制等完成电气能源的优化调度，提升了工作效率[3]。基于此，结合以上学者研究成果，利用当前应用广泛的深度强化学习方法，进行铝电解工艺优化求解，为同领域的优化求解提供参数数据和研究方向，具有一定的实际意义。

1铝电解工艺参数流程

1.1铝电解工艺流程

铝（Al）属于一种金属元素，其在空气中组合成致密氧化铝薄膜，具备较强的耐腐蚀性和延展性，在建筑、器械领域的应用十分广泛[4]。目前工业上常用的铝电解生产方法为融盐电解法，其可在950～970 ℃温度下引入强电流，在槽内产生化学反应，反应公式：

Al₂O₃（固）→2Al³⁺（络合状）+3O^2-（络合状 ）7E892C3A-7DF4-477E-BA4F-4C2E980EB88A

Al³⁺（络合状）+3e→Al（液）

O^2-（络合状）-2e→（原子）

2O（原子）+C（固）→CO₂（气）

工业制铝具体工艺步骤主要分为4步。首先，将工业铝置入电解槽中，对其进行通电处理;然后，提升该槽内温度，设置在960～960 ℃。之后在槽内加入高压铝液，将其与工业铝发生化学反应，得到阳极气体，分别为氧气和二氧化碳;最后，将该气体进行净化处理和排放，得到氟化物，由此完成铝电解工艺操作。

1.2铝电解技术参数

铝电解生产过程中，通过铝电解参数指标可看出铝产量和当前电解槽状态。优化工艺参数优化，能够提升电解槽状态，生产大量铝[5]。主要方法是调节铝水平;将电解质、铝液进行设置，高度为15～19 cm。

1.3铝电解槽生产MDP分析

由于鋁电解中的数据具有较强的时序性，其满足马尔科夫决策过程（MDP）要求，因此通过MDP对铝电解生产过程进行模拟，还原真实生产环境，帮助确立准确的参数范围。

MDP具体流程为：初始化状态S₀，从动作集A中选取一个动作A₀执行[6]。具体流程可表示为：

S₀→S₁→S₂→S₃→S₄…

根据上式，将以上工艺技术参数表示电解槽状态空间;连续天数表示为维度。

2深度强化学习模型构建

2.1深度强化学习原理

深度学习的基本原理是对某物体进行表征学习，提取其深层特征，其学习性能优越，在图像识别、语言分类等方面均取得较好的应用效果[7]。强化学习常用于人脸识别、数据挖掘和参数优化等领域;将其与深度学习结合，得深度强化学习（Deep Reinforcement Learning，DRL）。

2.2深度强化学习模型构建

DRL网络结构如图1所示。该网络主要分3个层级：输入层、隐含层和输出层，常用激活函数为目前应用较多、应用效果较好的Relu[8]。

在深度强化学习中，近端策略优化PPO算法具备寻优速度快，准确率高的特点。因此将该算法应用到铝电解流程中，将智能体设置在标准步长内，计算出最高出铝量，并将其进行输出，进行多次迭代后得到最终状态[9]，其训练流程如图2所示。

从图2可知，对网络参数进行设置，并将其与环境融合;然后将数据与奖励函数相结合输入至全连接神经网络中进行训练[10]。根据策略选择下一步动作并执行，由此转移至下一状态;循环上述流程，进行多次更新，直至训练结束[11]。

2.3基于原始PPO模型的范围寻优算法

2.4基于改进PPO的寻优算法

原始PPO算法存在随机梯度上升效率低、训练过早结束的问题，收敛速度慢，寻优结果不准确。因此，基于该算法加入RMSProp 算法和冲量原理，改进其随机梯度上升方式，提升迭代更新速度，避免振荡。由此得到改进的RMSProp[13]。

3实验结果与分析

3.1实验环境和配置

为取得更好的实验效果，本次实验硬件和软件分别选用Pychann 2019和3.6 Python，显卡和CPU分别选用NVIDIA和E5-2620型号，内存大小为48 GB。

3.2实验数据

根据原始PPO寻优策略，选择从某铝厂获取2020年7月4日至2021年7月4日的铝电解数据合计30 000条，电解槽数量为300，部分原始数据如表1所示。

本次铝电解参数优化过程中网络结构使用全连接神经网络，隐层数为2个，其对应层数的神经元数目为128 个，神经元激活函数选用 Relu，超参数主要包括 PPO 算法部分超参数和 M-RMSProp部分超参数。其中，PPO和M-RMSProp的学习率分别设置为0.002 5和0.003;步数最高设置为3 000。

3.3实验结果与分析

3.3.1基于改进模型的训练结果分析

为验证改进模型的训练效果，本次实验将改进前后的模型进行分析。Max_steps 设置为 3 000，将3个模型的最大episodes（步）设置为3 000。从而得到3个算法的训练结果，具体如图3～图5所示。

由图3可知，原始 PPO 算法在1 500个episodes（步）后逐渐稳定，稳定值累计奖赏约10%。

从图4可知，RMSProp-PPO算法在1 300个episodes（步）后开始稳定下来，累计奖赏约15%，对比原始PPO算法，奖赏值提升了5%，迭代速度得到提升。

从图5可知，改进算法在1 000个episodes（步）时逐渐稳定，累计奖赏约15%。对比改进前算法，改进算法的迭代速度明显更快，得到进一步提升。

根据以上3种算法的训练结果，将其进行统计后进稀疏对比，对比结果如图6所示。

由图6可知，改进算法迭代至1 000次时实现收敛，说明改进算法可取得较好的应用效果。

3.3.2参数范围寻优算法的结果对比和分析

实验将对改进模型进行多次训练，选取其中奖赏值最高的 2 000组，收集训练结果，确定最优参数取值范围。训练结果如表2所示。

从以上训练结果中进行改进算法寻优结果分析，将表2中的最优参数与决策树中的C4.5寻优的多组最优参数范围做搭配选择其交集，得到最终最优参数范围搭配，部分参数对比结果如图7所示。

对以上对比结果进行分析后，取得多种最优参数范围组合，组合结果如表3所示。7E892C3A-7DF4-477E-BA4F-4C2E980EB88A

4结语

综上所述，构建的基于深度强化学习的铝电解工艺优化模型可以计算出铝电解生产的最优解，为铝电解生产工艺人员提供强有力的数据和技术支持，且通过最优参数组合和搭配可以提升铝电解的生产量，从而提升了工厂的经济效益。实验结果表明，相较于改进前算法，改进后的算法收敛速度更快，在训练1 000次后即趋于稳定，稳定性更强，累计奖赏为15%，比原始PPO算法更高。结果可知：改进算法的性能十分优越，且将其与决策树的最优解进行组合和搭配后，可以得到铝电解的最优参数解，說明其可在铝电解工艺参数优化领域进行大力推广和应用。

【参考文献】

[1]权国政，温志航，鹿超龙，等.融合BP-ANN-MCSA算法的电弧增材工艺参数寻优策略研究[J].塑性工程学报，2021，28（1）：91-97.

[2]张晓，李晋宏.基于改进RMSProp-PPO算法的铝电解参数寻优模型[J].电子元器件与信息技术，2021，5（3）：170-174.

[3]乔骥，王新迎，张擎，等.基于柔性行动器–评判器深度强化学习的电-气综合能源系统优化调度[J].中国电机工程学报，2021，41（3）：819-833.

[4]于一潇，杨佳峻，杨明，等.基于深度强化学习的风电场储能系统预测决策一体化调度[J].电力系统自动化，2021，45（1）：132-140.

[5]陈虹松，董定乾，黄兵，等.基于遗传算法的航空叶片铣削加工工艺参数优化[J].工具技术，2021，55（9）：68-73.

[6][ZK（]张永棠.一种深度强化学习的C-RAN动态资源分配方法[J].小型微型计算机系统，2021，42（1）：132-136.

[7]隗寒冰，贺少川.基于深度强化学习的插电式柴电混合动力汽车多目标优化控制策略[J].重庆交通大学学报（自然科学版），2021，40（1）：44-52.

[8]赵小云，龚红英，施为钟，等.基于RSM与NSGA-Ⅱ的燃气灶外壳零件成形质量多目标优化[J].轻工机械，2021，39（1）：86-91.

[9]刘永姜，李俊杰，曹一明，等.基于近似模型和遗传算法的等离子喷焊工艺参数多目标优化[J].科学技术与工程，2021，21（11）：4 403-4 408.

[10]肖鹏飞，张超勇，孟磊磊，等.基于深度强化学习的非置换流水车间调度问题[J].计算机集成制造系统，2021，27（1）：192-205.

[11]祝亢，黄珍，王绪明.基于深度强化学习的智能船舶航迹跟踪控制[J].中国舰船研究，2021，16（1）：105-113.

[12]李聪波，余必胜，肖溱鸽，等.考虑刀具磨损的数控车削批量加工工艺参数节能优化方法[J].机械工程学报，2021，57（1）：217-229.

[13]杨挺，赵黎媛，刘亚闯，等.基于深度强化学习的综合能源系统动态经济调度[J].电力系统自动化，2021，45（5）：39-47.

[14]董诗绘，牛彩雯，戴琨.基于深度强化学习的变电站巡检机器人自动化控制方法研究[J].高压电器，2021，57（2）：172-177.

[15][JP3]张雷，钟言久，阚欢迎，等.熔融沉积制造高能效工艺参数优化方法[J].机械设计与制造，2021（3）：149-152.7E892C3A-7DF4-477E-BA4F-4C2E980EB88A

猜你喜欢 工艺优化 真空静电喷涂工艺优化探析中国高新技术企业(2016年34期)2017-02-10索氏抽提法提取酸枣仁油的研究吉林农业·下半月(2016年11期)2017-01-09深圳港铜鼓航道常年维护疏浚工程的安全措施水运管理(2016年11期)2017-01-07航空发动机精密轴承座加工技术应用中国新技术新产品(2016年23期)2016-12-26阿奇霉素分散片的制备及质量研究科学与财富(2016年26期)2016-12-01基于DELMIA的汽车装配工艺仿真与优化科学与财富(2016年28期)2016-10-14数控车床加工中编程的原则与工艺优化技术分析中国高新技术企业(2015年6期)2015-03-18

相关热词搜索： 求解 人工智能 算法