清华大学教授为您解读具有历史依赖效应的材料及结构响应预测通用深度学习MechPerformer模型

随着“新型基础设施建设”等国家战略与政策的提出与推进，数字孪生 ^[1] 等信息化技术逐渐成为各大工程领域重点发展方向，追求实现物理实体在数字世界的智能同步与实时仿真。聚焦到土木工程学科，材料及结构的计算分析作为工程全寿命周期各阶段的基础，是连接现实与数字的重要手段之一。然而，经典数值计算方法高度依赖人工，在计算精度、实时高效、开放通用等方面日渐难以满足新时代需求，亟需引入更为前沿的信息技术加以改进升级。在此背景下，近年来以机器学习、深度学习等算法为代表的新一代人工智能技术 ^[2] 凭借其强大的拟合能力、卓越的计算效率以及优异的开源拓展性，日益受到研究者的关注，成为极具前景的传统方法更替选择。

为实现材料与结构的智能计算分析，首先需解决材料与结构在不同加载路径下的全过程响应模拟问题（图1）。由经典数值研究发现，工程材料与结构的全过程力学响应通常呈现出显著的非线性与历史依赖效应（也称为记忆效应） ^[3] ，如何设计合适的智能算法以准确刻画这些复杂特性，是实现其智能预测的关键。为此，基于深度学习技术提出了智能MechPerformer 模 型 ，能够高精度、高效地复现具有强历史依赖效应的非线性响应曲线，且具有良好的通用性，可迁移应用于任意力学响应预测问题。相关 成果发表于《建筑结构学报》2022年第8期。

2.1  材料及结构全过程力学响应特性分析

材料及结构计算的机理可以抽象为两个力学响应序列间（例如应力-应变关系）的映射问题。根据经典数值研究与实践经验，将材料及结构全过程力学响应的特性归纳为以下三点：

1）记忆效应显著。由于材料、几何等非线性行为，历史状态会显著影响当前预测步的结果，例如历史最大应变加载点决定了结构钢材当前循环强化与软化的饱和幅值；同时，此类关键状态点与当前预测点的距离无法确定，受加载制度、步长等多种因素影响。因此，如何提取任意长度范围内的全局记忆效应是面临的第一个挑战。

2）序列长度极长。材料及结构的全过程响应动辄包含上千个数据点，这种超长序列极易导致记忆效应计算的空间复杂度超出图形处理器（GPU）显存而无法训练，并伴随出现记忆效应耗散、梯度爆炸或消失等一系列问题，因此需要特别关注和处理。

3）因果自回归性。与自然语言处理领域文本序列分析的双向逻辑不同，材料及结构计算中未来信息对当前响应的预测没有价值，且可能造成信息穿越，严重劣化模型的泛化性。因此，算法设计必须严格遵循因果推理机制，即只利用已得到的结果进行自回归分析。

2.2  MechPerformer模型

围绕上述特性，基于Transformer架构 ^[4] 搭建了MechPerformer（Mechanical Performer）模型，能够适用于具有历史依赖效应的任意力学响应预测问题。整体模型结构如图2所示，分为编码器与解码器两大模块，每个模块可进行多层堆叠以增强表达能力。进行力学响应预测时，输入的激励序列经由编码器提取全局记忆效应后传入解码器，后者则根据传入的上下文信息（context，即包含了全局记忆信息的激励序列）以及历史结果预测当前的响应。

相较于原始的Transformer架构，MechPerformer模型在编码器部分引入了随机正交正特征映射快速注意力机制（fast attention via positive orthogonal random features, FAVOR+） ^[5] 以代替标准注意力机制：

式中，输入序列经过平行的三次线性变换，得到 Q （Query）、 K （Key）、 V （Value）张量，根据信息检索的思路进行相关性计算，以提取全局记忆效应 O ；同时，采用核函数方法并结合矩阵乘法结合律（图3），将平方空间复杂度（ O ( L ² )， L 为序列长度）降低到了线性（ O ( L )），大幅压缩了长序列情形下的计算成本。

在解码器模块，考虑到材料及结构响应的因果自回归性，采用了多层循环门式单元（gated recurrent unit，GRU），能够通过隐状态的顺序传递和单元参数共享，以线性复杂度（ O ( L )）实现天然的因果自回归生成（图4）；而单元内的多种门控开关又可进一步增强传统循环神经网络的记忆能力：

式中：下标 t 代表时间步； h 为GRU隐状态； z 代表更新门控参数，用于调节新状态信息与历史信息对最终输出的贡献比例； r 代表重置门控参数，即遗忘过去信息的比例； c 代表当前产生的新状态候选。

由以上建模过程可知，MechPerformer模型对于输入和输出序列变量不施加任何限制，可适用于任意力学响应关系的智能预测。

3.1 数据准备

采用Xu等 ^[3] 提出的低屈服点钢精细弹塑性模型生成数据以开展数值试验。该本构模型以率形式描述了低屈服点钢的混合硬化、应变幅依赖、异质性循环软化等多种复杂力学属性，均呈现出极强的历史加载路径相关行为。因此，不同的应变路径会衍生成迥异的应力响应。借助该思路，生成了99840条随机应力-应变曲线（图5，每条曲线序列长度为1001个数据点），并拆分51200条作为训练集，25600条作为验证集，23040条作为测试集。考虑到理论模型生成的数据较为平滑，在归一化后的序列上施加服从 N (0, 0.01)的随机噪声，以增大模型拟合难度，贴近真实试验情境。

3.2  模型验证

最终模型在测试集上达到了平均0.0140的平均绝对误差（MAE），可粗略换算平均应力偏差为2.80 MPa。理论模型结果（去噪声）与MechPerformer计算结果对比见图6，可以看出，MechPerformer模型较好地复现了理论模型生成的高度非线性应力-应变曲线，准确刻画了复杂加载路径对应力响应的影响。此外，MechPerformer模型生成一个批次（batch）128条曲线耗时仅2.4 s，相较传统理论模型计算效率提升显著。

3.3 模型力学意义定义阐释

为进一步加深对MechPerformer模型的理解，推动其在材料及结构计算领域的应用，以上述结构钢材本构为依托，对照经典弹塑性力学理论，尝试给出模型相对合理的力学意义释义。其他材料以及结构层次可依此类比。

模型采用的编码器与解码器模块可分别对应应变空间与应力空间，如图7所示。编码器对输入的应变加载路径进行变换和映射，等价于应变空间中流动法则与记忆面的演化，用于更新与硬化法则相关联的应变信息。解码器模块的隐状态对应于硬化法则的内部状态变量，受应变空间传入的塑性流动增量等应变量驱动完成更新，并最终计算得到新的应力响应。模型的因果自回归算法对应于次弹性本构范式，残差连接则与数值实现中的增量离散格式一致。用于挖掘全局历史依赖效应的注意力机制采用了内积运算，可视为以L2范数   为度量评估各历史状态对当前预测的影响，这与理论模型中记忆面的形式高度相似。因此，MechPerformer模型能够精准捕捉加载历史的影响，从而准确预测任意随机路径下的应力响应。

1）分析并总结了材料及结构计算分析领域力学响应预测问题的特性：记忆效应显著，序列长度极长，因果自回归性。

2）搭建了深度学习MechPerformer模型，可适用于具有历史依赖效应的任意力学响应预测问题。通过引入FAVOR+机制、门控循环单元等算法，解决了长序列训练显存不足、记忆效应变长距离、自回归生成等问题。

3）提出了适用于任意力学量的归一化方法“非线性参考值放缩法”；基于低屈服点钢精细弹塑性模型开展了数值试验，验证了MechPerformer模型能够高精度复现强历史依赖的非线性力学响应曲线，且具有卓越的计算效率。

4）以结构钢材本构为依托，对照经典弹塑性力学理论，定性分析了MechPerformer模型的力学意义，以促进其推广应用。

参考文献：

[1] 陶飞, 刘蔚然, 张萌, 等. 数字孪生五维模型及十大领域应用[J].计算机集成制造系统, 2019, 25(1): 1-18.

[2] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[3] XU L Y, NIE X, FAN J S, et al. Cyclic hardening and softening behavior of the low yield point steel BLY160: experimental response and constitutive modeling [J]. International Journal of Plasticity, 2016, 78: 44-63.

[4] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C] // Advances in Neural Information Processing Systems (NIPS) 2017. Long Beach, US: NIPS Foundation, 2017.

[5] CHOROMANSKI K, LIKHOSHERSTOV V, DOHAN D, et al. Rethinking attention with performers[C] // The International Conference on Learning Representations (ICLR) 2021. Vienna, Austria: World Academy of Science, Engineering and Technology, 2021.