论文标题：Graph former-CL：一种结合对比学习框架的新型图变换器，用于增强药物-药物相互作用预测
摘要
药物-药物相互作用（DDI）是现代医疗保健中一个重大的临床挑战，仅在美国每年就导致超过12.5万人死亡。当前的计算方法在捕获远距离分子依赖关系以及泛化到新药组合方面存在显著局限。传统图神经网络（GNN）存在过度平滑和局部性偏差的问题，而基于序列的方法则无法充分表示三维分子结构。为克服这些局限性，我们提出了Graph Former-CL，一种新型深度学习框架，它将图变换器架构与对比学习协同结合，用于DDI预测。我们的方法包含四项关键创新：（1）一种层次化图变换器，具有位置感知的多头自注意力机制，用于捕获局部和全局分子模式；（2）一个域特定对比学习模块，具有分子增强策略；（3）一种跨模态融合机制，集成SMILES序列与图表示；（4）一种自适应池化策略，用于多尺度分子表示。在四个基准数据集上的全面评估显示，Graph Former-CL性能优越，在DrugBank上达到98.2%的准确率，在TWOSIDES上达到89.4%，均相比最先进方法有显著改善（p<0.001）。值得注意的是，该框架在归纳设置下对新药的预测准确率达到85.6%，展示了对于实际临床应用至关重要的鲁棒泛化能力。
- 引言
1.1 DDI预测的临床意义
药物-药物相互作用是当代医疗保健系统中最关键的挑战之一，占所有不良药物事件的20-30%，在美国每年导致约12.5万人死亡。COVID-19疫情进一步加剧了DDI预测的临床重要性，在患有多重合并症的患者中，复杂的多药联用方案日益常见。药物管理中不断增加的复杂性凸显了对准确可靠的DDI预测计算方法的迫切需求。传统的DDI识别实验方法面临巨大的经济和时间限制，一项药物全面的安全性评估预计需要26亿美元和10-15年。这些高昂的成本和漫长的时间使得计算方法对于现代药物安全评估不仅是有利的，而且是必要的。因此，开发有效的DDI预测计算方法已成为药学研究和临床实践中的关键优先事项。
除了DDI预测，人工智能和深度学习方法在解决更广泛的医疗挑战方面具有变革潜力，包括疾病诊断、治疗优化、个性化医疗和临床决策支持系统。基于人工智能的方法在各种疾病的诊断准确性方面取得了显著成功，特别是在心血管疾病预测和癌症筛查方面，早期准确发现可以显著影响患者预后和生存率。将AI技术整合到医疗工作流程中有望带来长期益处，包括减少医疗差错、通过早期不良事件检测增强患者安全、优化医疗系统的资源配置，以及最终改善人群健康结局。在DDI预测的具体背景下，这些进展有助于更安全的药物管理实践，减少因药物不良相互作用导致的住院，并通过在药物相关并发症发生前进行预防来提高医疗资源的利用效率。
1.2 DDI预测中的计算挑战
当前用于DDI预测的计算方法面临若干基本局限性，限制了其临床适用性和实际性能。最显著的挑战是传统图神经网络中固有的局部性偏差，其中消息传递机制无法捕获对理解复杂分子相互作用至关重要的远距离依赖关系。这一局限性在药物相互作用场景中尤为严重，因为远距离的分子组分可能在决定相互作用结果中发挥关键作用。
表示学习不足是另一个主要障碍，现有方法缺乏鲁棒的学习机制来获得能够有效迁移到新化合物的可泛化药物表示。这一限制严重制约了当前方法在实际临床环境中的实用价值，因为新药组合经常出现。此外，当前方法在多尺度信息的整合方面表现不足，无法有效结合来自不同分子尺度的数据，包括原子、官能团和分子水平。由此产生的模型在训练中未曾见过的药物上表现出较差的泛化性能，这极大地限制了其实际应用和临床部署潜力。
DDI预测中的这些计算挑战反映了将人工智能应用于医疗决策中的更广泛问题。最近在AI驱动的疾病诊断方面的进展，特别是在心血管疾病方面，已经证明了深度学习方法通过复杂的模式识别和多模态数据整合来应对复杂临床挑战的潜力。与DDI预测类似，心血管风险评估需要整合多种数据源并捕获复杂的非线性关系，以提供准确的临床预测。AI方法在提高诊断准确性和实现早期疾病检测方面的成功，凸显了计算方法在医疗健康领域（从诊断到治疗优化和药物安全评估）的变革潜力。这一更广泛的背景强调了开发像Graph Former-CL这样鲁棒、可泛化的AI框架的重要性，以便在高风险的医疗应用中可靠地支持临床决策。
1.3 现有方法的局限性
基于图的方法虽然在表示分子结构方面显示出希望，但存在显著的结构性限制。诸如SSF-DDI之类的方法受限于传统GNN架构，无法有效捕获全局分子模式。GMPNN-CS方法面临深度网络中的过度平滑问题，其中节点表示在层间变得越来越相似，降低了模型的表现力。DGNN-DDI方法对远距离依赖关系的处理不足，遗漏了远处分子组分之间的关键相互作用。
基于序列的方法存在互补的局限性，特别是在捕获三维分子结构信息方面能力不足。CNN-DDI方法无法表示对理解分子相互作用至关重要的空间关系，而MCANet方法在跨模态整合能力方面有限。现有的混合方法尽管试图结合多种模态，但缺乏用于全局模式识别的复杂注意力机制，并且在鲁棒表示学习方面的对比学习策略不足。
1.4 我们的贡献
本文通过四项主要贡献引入Graph Former-CL，作为解决上述局限性的综合方案。首先，我们开发了一种新颖的图变换器架构，该架构将位置感知自注意力与层次化池化相结合，用于有效的多尺度分子表示。其次，我们实现了域特定对比学习，包含分子增强策略和专门针对药物发现应用定制的对比目标。第三，我们引入了先进的跨模态融合机制，实现了用于整合图和序列信息的复杂注意力机制。最后，我们进行了跨多个数据集的全面评估，包括严格的统计验证和详细的可解释性分析。
- 相关工作
2.1 图神经网络在药物发现中的应用
图神经网络已成为分子性质预测的强大计算工具，彻底改变了计算化学和药物发现领域。早期的研究主要关注消息传递神经网络（MPNN），它通过迭代消息传递机制聚合来自邻近原子的信息。这些方法最初显示出希望，但揭示了限制其在复杂分子分析任务中有效性的基本局限性。
过度平滑问题是传统GNN架构中的一个关键限制，增加层数会导致节点表示变得越来越相似，从而限制了模型的表现力和区分不同分子组分的能力。这一现象在药物相互作用预测中尤其成问题，因为微小的分子差异可能决定相互作用结果。传统MPNN中固有的局部性偏差进一步加剧了这一问题，因为这些方法难以捕获在决定药物相互作用中可能具有功能关联的远距离原子之间的依赖关系。
最近的进展试图通过各种架构创新来解决这些基本局限性。图注意力网络（GAT）引入了注意力机制来改进特征聚合，但基本上仍局限于局部邻域，未能解决全局依赖问题。Graph SAINT提出了用于改进可扩展性的采样策略，但没有解决基本的表达力限制。图变换器变体已经开始纳入全局注意力机制，但缺乏有效处理分子数据所需的特定领域适应。
2.2 用于分子数据的变换器架构
变换器架构在自然语言处理中的巨大成功启发了其在分子数据分析中的改编，带来了计算化学的重大发展。分子变换器，包括ChemBERTa及相关模型，展示了自注意力机制在SMILES序列处理中的有效性。然而，这些方法未能利用对理解分子相互作用和药物行为至关重要的关键三维结构信息。
图变换器代表了最近将变换器架构适应于图结构数据的尝试，纳入了专门为图处理设计的位置编码和注意力机制。尽管有这些进展，当前的图变换器方法通常缺乏有效分子分析所必需的组件。具体而言，它们常常缺乏对分子数据处理至关重要的域特定归纳偏差，在处理分子图性质方面效率低下，并且与其他重要模态（如序列和三维结构）的整合能力有限。
2.3 分子表示中的对比学习
对比学习在多个领域（包括计算机视觉和自然语言处理）中展示了显著的成功，导致对其在分子数据分析中的应用兴趣增加。最近在分子表示学习中的应用显示出希望，但在域特定实现和有效性方面仍然存在显著差距。
Graph CL引入了基本概念，包括分子图中的节点/边丢弃和子图采样，但缺乏有效分子表示学习所需的域特定增强。MolCLR专门关注2D-3D对比学习方法，但未能解决DDI特定预测任务的独特挑战。Graph MAE利用分子图的掩码自编码策略，但与对比方法相比表现出较低的鲁棒性，限制了其在复杂分子分析场景中的实际适用性。
2.4 药物-药物相互作用预测方法
DDI预测方法涵盖几种不同的方法学类别，每个都有特定的优势和局限性。基于相似性的方法从根本上依赖于药物相似性假设，但未能捕获决定生物系统中实际药物相互作用的复杂相互作用机制。这些方法受限于无法建模非线性关系和超出简单结构相似性的复杂分子相互作用。
基于网络的方法利用药物-靶标相互作用网络，在某些场景下显示出改进的性能，但需要大量的先前知识，而这些知识可能不适用于新药组合。深度学习方法显示出显著希望，包括用于SMILES处理的序列模型（如RNN和CNN）、用于分子结构分析的图神经网络以及试图结合多种模态的混合方法。然而，现有的DDI预测方法表现出我们框架所解决的关键局限性。与仅依赖结构相似性假设的基于相似性的方法不同，Graph Former-CL通过具有位置感知注意力的图变换器架构捕获复杂的非线性相互作用机制。虽然基于网络的方法需要大量的药物-靶标相互作用先验知识，但我们的对比学习框架仅从分子结构中学习，无需外部生物网络。与仅处理SMILES字符串且无法捕获三维分子拓扑的序列模型（如RNN和CNN）相比，我们的跨模态融合机制整合了图结构信息和序列信息。传统的基于GNN的方法在捕获远距离分子依赖方面存在过度平滑和局部性偏差，而我们的带有层次化池化的图变换器架构有效地建模了局部和全局分子模式。此外，虽然最近的混合方法通过简单串联结合多种模态，Graph Former-CL实现了用于动态信息整合的复杂交叉注意力机制。最关键的是，现有的对比学习方法缺乏域特定的分子增强策略，而我们的框架引入了化学信息增强，包括原子掩码、键扰动、骨架跳跃和子图采样，这些方法在增强表示学习的同时保持化学有效性。这些基本的架构和方法学创新使Graph Former-CL区别于先前的工作，并使其在所有基准数据集上都能实现优越的性能。
- 方法学
3.1 问题定义与符号
Graph Former-CL包含三个主要处理阶段，如图1所示：（1）分子编码，药物同时表示为分子图和SMILES序列；（2）层次化特征学习，使用图变换器在原子、官能团和分子水平上带有位置感知注意力；（3）交互预测，通过跨模态融合和对比学习整合学习到的表示。后续子章节给出详细的数学公式。图1提供了整体工作流程，展示了药物A和药物B如何通过并行通路处理并最终组合用于DDI预测。
图1. 训练过程从分子增强开始，生成药物结构的不同视图，随后进行带有层次化池化的图变换器编码。对比学习最大化增强对之间的相似性，而跨模态融合整合图和序列特征。推理阶段应用训练好的模型预测新药物对的相互作用。
3.1.1 数学公式。药物表示为一个分子图 ，其中 表示原子， 表示化学键， 包含原子特征， 包含键属性。DDI预测任务学习一个函数 来预测药物对之间是否存在相互作用。
3.2 图变换器架构
Graph Former-CL的整体架构整合了多个创新组件，以解决现有DDI预测方法的局限性。如图2所示，该架构包含五个主要组件：具有空间编码和多头注意力的图变换器、具有域特定增强策略的对比学习、用于整合图和序列信息的跨模态融合，以及带有药物对编码和MLP分类器的DDI预测模块。
图2. Graph Former-CL架构概览。框架通过并行的图变换器和对比学习路径处理药物A（分子图）和药物B（SMILES序列）。图变换器包含空间编码、多头注意力、层次化池化和特征提取。对比学习模块应用域特定增强，包括原子掩码、键扰动、骨架跳跃和子图采样。跨模态融合通过交叉注意力和自适应融合机制整合表示，随后通过药物对编码和MLP分类器进行DDI预测，输出交互概率分数。
3.2.1 分子图的空间编码。传统的位置编码对于分子图来说是不够的，因为分子图存在不规则结构，并且化学拓扑结构对于确定分子性质至关重要。我们提出了一种基于化学距离的空间编码方案，该方案捕获了对分子分析至关重要的拓扑关系。对于原子 和 ，我们定义化学距离为：公式(1) 其中 表示 和 之间的所有路径集合， 表示键权重。然后计算空间编码矩阵为：公式(2)。图3展示了空间编码机制，显示了化学距离如何计算并整合到注意力机制中。
图3. 分子图的空间编码机制。左面板显示一个示例分子图，包含原子（ ）和键。中间面板显示从原子间化学距离 计算出的空间编码矩阵 ，颜色代表不同的距离值（暖色代表更近的化学距离）。右面板说明结合空间编码的多头注意力机制，其中Q（查询）、K（键）、V（值）通过H个并行注意力头进行处理，并带有空间偏差S，随后进行拼接和线性变换 产生最终输出。每个注意力头独立使用可学习的投影 计算位置感知注意力，使模型能够同时捕获多样的化学交互模式。
这种编码方案使模型能够纳入影响分子行为和相互作用模式的关键拓扑信息。
3.2.2 位置感知多头自注意力。标准的自注意力机制未能纳入对理解化学相互作用至关重要的分子拓扑结构。我们引入了结合空间编码信息的位置感知注意力。如图3所示，注意力机制处理从节点特征派生的查询（Q）、键（K）和值（V）矩阵，结合空间编码矩阵（S）产生拓扑感知的注意力权重：公式(3) 其中S是化学距离计算出的空间编码矩阵（图3中间面板所示）， 表示键向量的维度， 表示查询投影， 表示键投影， 包含值投影。空间编码偏差项 捕获原子间的成对拓扑关系，其中 代表原子i和j之间的化学信息距离，如公式(2)计算。注意力权重 决定原子j对于更新原子i表示的重要性。多头实现（图3右面板）通过计算 个并行的注意力函数来扩展这一概念：公式(4) 其中每个注意力头h独立计算为：公式(5)。这里， 是头 的可学习投影矩阵， 是输出投影矩阵。这种多头架构使模型能够同时关注不同的化学方面，不同的头可能关注键类型、官能团或药效团特征。
3.2.3 层次化分子表示。我们实现了一个三级层次结构来捕获不同尺度的分子模式，从而实现全面的分子分析。第一级通过以下方式关注原子表示：公式(5) 第二级使用可微分池化（）开发官能团表示：公式(6) 第三级通过以下方式创建分子级表示：公式(7)
建立了用于捕获从原子到分子水平的多尺度分子模式的层次化图变换器架构后，我们现在介绍我们的域特定对比学习框架。该框架通过训练模型区分化学相似和相异的分子结构，使用精心设计的增强策略来增强学习到的表示。
3.3 对比学习框架
3.3.1 分子增强策略。我们设计了保持化学有效性的域特定增强策略，同时实现有效的对比学习。原子掩码根据化学重要性选择性移除非必需原子：公式(8) 键扰动在保持价态约束的同时修改键类型：公式(9) 子图采样提取化学上有意义的子结构：公式(10) 骨架跳跃在保留药效团的同时修改分子骨架：公式(11)
3.3.2 对比目标函数。对于一批药物 ，我们创建增强视图并优化对比目标：公式(12) 其中 表示药物 的表示， 是其增强视图的表示， 表示余弦相似度， 是控制分布集中程度的温度参数。
3.已理解您的要求。由于前面的翻译只进行到第3.3.2节（对比目标函数），需要继续完成剩余部分。以下为从3.3.3节开始的继续翻译，并最终以“【全文结束】”结尾。
3.3.3 困难负样本挖掘。为提高对比学习效率并聚焦于具有挑战性的样本，我们实施了困难负样本挖掘：公式(13) 其中 包含药物 的最困难负样本，被识别为结构相似但功能不同的示例。如图4所示，我们的域特定增强策略在以集成方法组合使用时提供了显著的性能改进。
图4. 域特定分子增强策略和对比学习框架。顶部面板显示应用于原始分子的四种增强技术：原子掩码（移除非必需原子）、键扰动（修改键类型）、子图采样（提取官能团）和骨架跳跃（在保留药效团的同时替换分子骨架）。中间面板显示使用原始和增强表示之间的相似性矩阵计算对比损失。底部面板说明三阶段训练协议及性能提升，通过集成策略实现了+2.34%的综合改进。
这种全面的增强方法确保了分子信息在多个尺度上被捕获和整合，从单个原子到完整的分子结构。
对比学习框架为单个药物提供了鲁棒的分子表示。为了利用来自不同分子模态的互补信息，我们接下来描述我们的跨模态融合机制，该机制整合基于图的机构表示和基于序列的SMILES编码。
3.4 跨模态融合
3.4.1 使用分子变换器的SMILES编码。我们利用预训练的分子变换器（ChemBERTa）进行SMILES编码，以捕获序列分子信息：公式(14) 这种编码通过捕获序列模式和化学命名关系，为基于图的表示提供了互补信息。
3.4.2 交叉注意力融合机制。为有效整合图和序列表示，我们实施了交叉注意力机制：公式(15) 该机制能够根据不同模态对特定预测任务的相关性，动态地对它们进行加权。
3.4.3 自适应融合权重学习。我们引入可学习的融合权重来平衡不同模态：公式(16) 其中 在训练期间通过门控机制学习：公式(17)
通过交叉注意力将图和序列表示有效整合后，我们现在介绍药物对编码和交互预测机制，该机制结合两种药物的表示来预测它们的相互作用。
3.5 DDI预测模块
3.5.1 药物对表示。对于具有表示 和 的药物 和 ，我们构建成对表示：公式(18) 其中 表示逐元素乘法， 表示绝对值。该表示同时捕获了单个药物属性及其交互关系。
3.5.2 多层预测网络。最终预测通过一个多层网络完成：公式(19)(20)(21)
定义了从分子输入到交互预测的完整前向传递后，我们现在指定全面的损失函数和优化策略，该策略联合训练Graph Former-CL的所有组件。
3.6 训练目标
总损失函数结合了DDI预测和对比学习目标：公式(22) 其中 表示二元交叉熵损失， 表示 正则化， 和 是控制不同组件相对重要性的超参数。
优化策略采用三阶段训练协议，旨在利用监督和自监督学习范式的互补优势。初始阶段，对比学习模块通过广泛的基于增强的预训练建立鲁棒的分子表示，使模型能够捕获基本的化学原理和结构不变性。随后，两个目标的联合优化允许框架为DDI特定任务细化这些表示，同时保持泛化能力。这种多阶段方法解决了分子机器学习中的常见挑战，即任务特定训练可能导致在有限的标记数据上过拟合。
- 实验设置
4.1 数据集
我们在四个全面的基准数据集上评估Graph Former-CL，这些数据集代表了药物相互作用预测挑战的不同方面。这些数据集提供了多样的相互作用类型、药物覆盖范围和复杂性水平，能够在各种场景下全面评估模型性能。数据集统计信息见表1，显示了我们评估的全面范围。
表1. 数据集统计信息。
4.2 基线方法
我们将Graph Former-CL与十二种最先进的方法进行比较，涵盖不同的方法学类别，以确保评估的全面性。基于图的方法包括GMPNN-CS、DGNN-DDI、SSI-DDI和GAT-DDI。基于序列的方法包括CNN-DDI、MR-GNN和BiLSTM-DDI。混合方法包括SSF-DDI、Multi DDI和MolTrans。对比方法包括Graph CL和MolCLR。这种全面的比较确保了我们的评估涵盖了现有方法的全部范围，并为不同方法学策略的有效性提供了有意义的见解。
4.3 实现细节
我们的实验实现使用了高性能计算资源，包括4块NVIDIA A100 GPU（每块40GB）、Intel Xeon Platinum 8358 CPU（2.6GHz）和512GB RAM。软件环境包括PyTorch 2.0.1、PyTorch Geometric 2.3.1、RDKit 2023.03.1和Python 3.9.16，确保了与当前深度学习框架的可重复性和兼容性。
模型超参数基于广泛的初步实验精心选择，详见表2。隐藏维度设置为512，以平衡模型容量与计算效率，而六个Transformer层为复杂模式识别提供了足够的深度。八个注意力头能够实现多样的注意力模式，0.3的dropout率防止过拟合。使用AdamW优化器，学习率为1e-4，确保稳定训练，批次大小为256，以最大化GPU利用率。
表2. 超参数配置。
4.4 训练协议
我们的训练协议采用直推式和归纳式数据分割策略，以评估模型性能的不同方面。直推式分割使用随机划分来评估在训练期间见过的药物上的性能。归纳式分割采用基于药物的划分，评估对完全新药的泛化能力。基于结构的归纳式分割使用分子骨架划分，评估在结构多样化合物上的性能。
训练策略由三个精心设计的阶段组成。阶段1进行50个epoch的对比预训练，以建立鲁棒的分子表示。阶段2进行100个epoch的DDI预测联合训练，以适应特定任务的表示。阶段3进行25个epoch的微调，以优化最终性能。这种多阶段方法确保了自监督和监督学习信号的最佳利用。
优化使用AdamW优化器与余弦退火学习率调度，以确保稳定收敛。梯度裁剪的最大范数为1.0，防止梯度爆炸，而早期停止的耐心值为15个epoch，防止过拟合并降低计算成本。
4.5 评估指标
我们采用六个综合指标来评估模型在DDI预测不同方面的性能。主要指标包括准确率、ROC曲线下面积和F1分数。次要指标包括精确率、召回率和平均精度。这些指标提供了涵盖分类性能和临床相关性不同方面的全面评估。
- 结果与分析
5.1 总体性能比较
Graph Former-CL在所有基准数据集上均展现出优越的性能，在DDI预测中建立了新的最先进水平。如图5所示，在DrugBank数据集上，我们的方法达到了98.20%的准确率，比先前最佳方法SSF-DDI提高了1.75%。99.34%的AUC分数展示了出色的判别能力，而98.15%的F1分数表明了精确率和召回率的平衡表现。
图5. DrugBank数据集上的性能比较。顶部面板显示了五种方法的准确率比较，Graph Former-CL达到98.20%的准确率。统计显著性检验证实了相对于主要基线的改进，p<0.001。归纳设置结果显示，Graph Former-CL在新药上达到82.45%的准确率。底部面板显示了AUC性能比较，Graph Former-CL达到最高的99.34% AUC。
这些改进在现有方法已经表现优异的情况下尤为显著，证明了我们新颖架构创新的有效性。
表3显示了Graph Former-CL与九种最先进基线方法在DrugBank数据集上的全面性能指标。Graph Former-CL在所有评估指标上均展现出显著改进，准确率达到98.20%，比先前最佳方法SSF-DDI提高了1.75%。模型还达到了最高的99.34% AUC分数，表明具有优越的判别能力，同时保持了出色的精确率（97.82%）和召回率（98.49%）平衡。
表3. DrugBank数据集上的性能比较。
TWOSIDES数据集由于其更大的规模和多样的相互作用类型，提出了额外的挑战。如表4所示，Graph Former-CL达到了89.40%的准确率，比SSF-DDI提高了2.10%，同时保持了高AUC（95.18%）和F1分数（90.23%）。在不同数据集和指标上的一致改进，证明了我们的方法在多种DDI预测场景中的鲁棒性和泛化能力。
表4. TWOSIDES数据集上的性能比较。
5.2 统计显著性分析
为确保我们结果的可靠性和有效性，我们在所有数据集和比较方法上使用配对t检验进行了全面的统计显著性检验。结果见表5，显示Graph Former-CL实现的所有改进在统计上都是显著的，p值远低于0.01。与SSF-DDI的比较显示，在不同数据集上p值范围在0.0001至0.0008之间，而与GMPNN-CS的比较一致地显示p值为0.0001，表明改进高度显著。
表5. 统计显著性检验（p值）。
这些统计结果强有力地证明了Graph Former-CL的优越性，并确保了观察到的改进不是由于随机变异或实验假象造成的。在不同数据集和基线方法上的一致性显著性证明了我们方法的鲁棒性。
5.3 归纳设置性能
归纳设置评估为了解模型对完全新药的泛化能力提供了关键见解，这对于实际临床应用至关重要。表6展示了随机分割和基于结构分割两种情景的结果，代表了不同水平的泛化挑战。在随机分割情景下，Graph Former-CL达到了85.60%的准确率，比最佳基线提高了3.67%，展示了优越的泛化能力。
表6. 归纳设置结果（未知药物）。
5.4 全面消融研究
消融研究结果提供了Graph Former-CL每个组件贡献的详细见解。如图6所示，移除对比学习导致准确率下降0.86%，证明了自监督表示学习对鲁棒分子嵌入的重要性。层次化池化组件贡献了0.39%的总体性能，突出了多尺度分子表示的价值。
图6. 组件贡献分析和消融研究结果。左面板显示了移除单个组件时的性能下降，完整模型达到98.20%的准确率。右面板根据移除时的性能下降对组件重要性进行排序，识别出跨模态融合（-1.28%）和对比学习（-0.86%）为关键组件。分析显示，组件协同工作超出了个体贡献，当所有组件组合时实现了+1.12%的总协同效应。
跨模态融合成为最关键的组件，其移除导致准确率下降1.28%，强调了整合图和序列信息对全面分子理解的重要性。表7通过系统的消融分析揭示了每个架构组件在DrugBank数据集上的关键重要性。跨模态融合是最具影响力的组件，其移除导致准确率大幅下降1.28%，突显了整合图结构和序列分子信息的必要性。第二重要的组件是对比学习，贡献了0.86%的总体性能，验证了我们的域特定增强策略对鲁棒分子表示学习的有效性。
表7. DrugBank上的消融研究结果。
5.5 计算效率分析
表8展示了不同方法计算性能的全面分析。虽然Graph Former-CL需要更高的计算资源（6.2小时训练时间，12.1 GB内存），但对于DDI预测等准确性至关重要的关键应用，性能改进证明了这一增加成本的合理性。
表8. 计算性能比较。
5.6 跨数据集泛化
跨数据集迁移学习结果证明了Graph Former-CL在不同数据分布和实验设置之间泛化的能力。如图7所示，在DrugBank上训练并在TWOSIDES上测试达到了84.23%的准确率，而反向方向达到了91.67%的准确率，表明了鲁棒的跨数据集可迁移性。
图7. 跨数据集迁移学习性能分析。迁移性能矩阵显示了不同源-目标数据集组合的准确百分比，颜色编码表示迁移质量。最佳的迁移是从Deep DDI到DrugBank（93.21%准确率）。图例显示，Graph Former-CL在不同领域特征和分子多样性水平上保持了一致的性能。
这些结果验证了学习到的表示在不同实验背景和数据收集方法之间的泛化能力，支持了Graph Former-CL在多样临床环境中的实际部署。
表9展示了Graph Former-CL通过跨数据集迁移学习实验在多样化数据集上的鲁棒泛化能力。模型在从一个数据集训练并测试于另一个数据集时，始终表现出强劲的性能，准确率范围从84.23%到93.21%。最佳迁移性能是从Deep DDI到DrugBank（93.21%准确率），这可能是由于DrugBank全面且精心整理的相互作用注释与Deep DDI的计算预测高度一致。值得注意的是，从TWOSIDES到DrugBank的迁移（91.67%）优于反向方向（84.23%），表明在大规模观测数据上训练可以增强对精心整理的药物数据库的泛化能力。这些结果验证了模型学习可泛化的分子相互作用原理，这些原理能够有效地跨不同的数据收集方法和实验背景进行迁移。
表9. 跨数据集迁移学习结果。
- 详细分析与解释
6.1 注意力机制可视化
对Graph Former-CL学习到的注意力模式进行分析，揭示了与已知药理学原理相一致的、有意义的化学见解。如图8所示，模型在已知药效团涉及的原子上的注意力权重较高，表明成功学习了功能相关的分子区域。
图8. 注意力机制分析与分子解释。左面板显示了不同原子对的注意力权重热力图。中间面板显示了最受关注的子结构：苯环（注意力0.847，CYP450结合相关性）和羧基（注意力0.823，代谢位点相关性）。右面板显示了不同DDI类型的机制特定准确率，其中CYP450抑制达到97.8%的准确率。底部面板展示了使用酮康唑-咪达唑仑相互作用的药效团识别示例，显示预测的CYP3A4抑制机制，置信度为0.89，该机制已得到临床验证。
此外，模型对常见参与药物相互作用的反应性官能团表现出更高的注意力。这些注意力模式为我们了解模型的决策过程提供了可解释的见解，并验证了Graph Former-CL学习了化学上有意义的表示，而不是虚假的相关性。
6.2 分子子结构分析
表10展示了按平均注意力权重排名前十的分子子结构，揭示了模型对药理学相关分子组分的关注。苯环获得最高的注意力（0.847），反映了其在CYP450结合和药物代谢中的重要性。羧基排名第二（0.823），与其在代谢位点和蛋白质结合相互作用中的作用一致。
表10. 按注意力权重排名前十的子结构。
胺基（0.789）和吡啶环（0.756）的排名分别突显了它们在受体结合和药物转运机制中的重要性。该分析表明，Graph Former-CL成功识别并优先考虑了化学和药理学相关的分子特征。
6.3 对比学习有效性
不同增强策略的影响（详见表11）揭示了我们的域特定对比学习方法的有效性。子图采样提供了最大的个体改进（+1.23%），证明了关注化学上有意义的分子片段的价值。组合集成策略实现了+2.34%的改进，验证了我们全面的增强方法。
表11. 不同增强策略的影响。
原子掩码贡献了+0.85%的改进，最优掩码比例为0.15，而键扰动增加了+0.67%，扰动比例为0.10。骨架跳跃提供了+0.94%的改进，证明了保留药效团的分子修饰的价值。这些结果验证了我们的假设，即域特定增强策略对于分子领域的有效对比学习至关重要。
6.4 错误分析与失败案例
全面的错误分析（见表12）揭示了模型失败的不同模式，为未来改进提供了见解。假阳性（12.3%）主要涉及结构相似的非相互作用药物，表明增强负采样策略可以提高特异性。假阴性（8.7%）通常发生在训练数据中代表性不足的新型相互作用机制，表明需要多模态数据整合。
表12. 预测错误分析。
边界案例（4.2%）涉及接近分类阈值的弱相互作用，表明基于置信度的预测机制可以提高临床实用性。罕见相互作用（2.1%）代表了低频率的相互作用类型，可以受益于小样本学习方法。
6.5 分子相互作用机制
表13展示了Graph Former-CL准确预测不同类型分子相互作用机制的能力。CYP450抑制达到了最高的准确率（97.8%），反映了模型在最常见的DDI机制上的强劲性能。P-糖蛋白相互作用达到96.2%的准确率，而蛋白质结合相互作用达到94.7%的准确率。
表13. 检测到的相互作用机制。
模型在不同相互作用机制上保持了高性能，受体竞争达到93.5%的准确率，转运体抑制达到92.1%的准确率。这些结果证明了Graph Former-CL在捕获多样药理学相互作用机制方面的多功能性。
- 案例研究
7.1 COVID-19药物相互作用
将Graph Former-CL应用于COVID-19治疗组合，证明了其实际的临床相关性，并验证了模型预测与现实世界结果的一致性。如图9所示，瑞德西韦-洛匹那韦组合获得了较高的交互预测分数（0.89），这与CYP3A4抑制机制的临床观察结果一致。地塞米松-华法林相互作用的分数更高（0.92），正确