DoLQ：融合定性与定量评估的LLM驱动ODE发现框架

论文信息

一句话概要

现有符号回归方法主要依赖数值误差等定量指标，但真实世界的微分方程建模还需要物理合理性验证。
本文提出DoLQ框架，采用多代理架构——采样代理基于物理直觉生成候选项，科学家代理利用LLM同时进行
定性的语义评估和定量的贡献分析以迭代引导搜索，参数优化器完成数值拟合。在8个多维ODE基准上，
DoLQ在成功率和正确符号项恢复上均超越现有方法，消融实验证实定性评估能显著加速收敛。

下载

背景与研究动机

从观测数据中发现控制方程是科学机器学习中的根本挑战。微分方程是描述物理、化学、生物等领域中系统动力学行为的基本工具，当控制方程已知时，人们能够预测和控制系统未来状态。然而在许多实际系统中，控制方程的形式并不清楚，必须从观测数据中推断。

现有的方程发现方法主要分为两类。第一类是稀疏非线性动力学识别方法，通过构建预定义的基函数库并利用稀疏回归识别系统动力学。虽然高效，但在处理函数形式未知的系统时难以选择合适的函数库。第二类是符号回归方法，致力于寻找将输入变量映射到观测输出的符号函数，并已扩展到动力系统发现领域——通过识别常微分方程右端函数来发现方程。例如，基于Transformer架构的方法可以从观测数据生成ODE，从而实现多样化方程结构发现。

然而论文明确指出，这些方法仅依赖数值数据，往往无法验证生成项的物理含义或一致性。即使在符号回归中引入了大语言模型的研究，其对候选方程的评估仍然主要基于均方误差或模型复杂度等定量标准。论文通过一个关键观察（Figure 1）揭示了问题的本质：均方误差相近的方程可能蕴含完全不同的物理机制。这表明纯粹的数值评估存在根本性局限，有必要引入定性评估。由于科学中的微分方程通常基于自然现象和人类直觉，发现项的物理合理性变得至关重要。

论文进一步指出了系统的输入构成：数值观测数据 $D=\{(t_i,\mathbf{x}(t_i)){\}}_{i=0}^{N-1}$ 和系统描述 $T$。$T$ 包含数据收集前已知的事实和物理原理，但严格禁止指定数学结构。例如，可以描述"空气阻力"，但不能给出像 $-c{x}^2$ 或 $\sin (x)$ 这样的显式项。这确保了模型利用物理直觉，但不具备真实符号形式的知识。

现有方法的瓶颈

论文在实验分析和相关工作综述中揭示了现有方法的多个核心局限。

局限一：数值评估无法辨别物理正确性。 这是论文最核心的动机。Figure 1展示了均方误差相近但方程结构截然不同的情况——低数值误差的发现方程可能包含错误的项。这意味着仅凭拟合精度无法判断方程的物理有效性，特别是在需要物理一致性的科学发现场景中。

局限二：LLM-SR等基线产生臃肿的方程结构。 实验中LLM-SR虽然能恢复真实项，但往往提出包含大量不必要项的方程骨架。例如在Glider(2D)结果中，LLM-SR的方程包含了一个无法简化的大规模复合表达式，其中嵌套了多个不同形式的子项。这不仅使参数优化复杂化，还生成了不必要的冗长提示。论文通过Figure 5的Token消耗统计指出，LLM-SR消耗了远超DoLQ的Token量。

局限三：进化方法在非多项式系统上的搜索能力受限。 LASR在简单多项式问题上表现良好，但进化算法的搜索能力有根本局限，无法发现涉及非多项式函数形式的复杂系统的控制方程。这一点在CDIMA(2D)和Glider系统的实验中表现得尤为明显。

局限四：现有方法缺乏对候选项的语义验证机制。 即使方程结构在数值上拟合良好，现有方法也无法判断项是否具有物理意义。论文指出，LLMs在科学发现中的语义推理能力尚未被充分利用于验证环节。

核心洞察与贡献

论文的核心洞察在于：方程发现可以通过在搜索循环中显式嵌入定性物理推理来解决纯数值评估的局限。具体而言，LLM不仅能生成候选方程，更应被用于评估候选方程是否符合已知的物理原理——这种"提出-评估"的闭环使得搜索既能追求数值精度，又能保持物理一致性。

基于这一洞察，论文提出了DoLQ框架，主要贡献包括以下三点：

• 集成定性与定量评估框架：DoLQ将定性物理推理显式嵌入搜索循环中，引导发现过程走向同时满足数值精度和物理可解释性的方程，同时保持紧凑的方程结构。
• 在复杂系统上的优越性能：实验证明DoLQ在识别正确控制方程上达到了最高成功率，尤其是在现有方法难以捕捉正确动力学的复杂系统中表现突出。
• 定性评估效果的验证：通过消融实验证明定性推理在过滤物理不可信项方面的有效性，验证了语义评估在引导发现过程走向正确控制方程中的关键作用。

这三个贡献点分别对应了前述瓶颈一（数值评估局限）、瓶颈三（复杂系统搜索能力）和瓶颈四（缺乏语义验证）。

方法详解

DoLQ是一个迭代框架，由三个核心组件构成：采样代理负责生成符号候选，参数优化器负责估计系数，科学家代理负责定性和定量评估。这三个组件形成一个循环，逐步精化发现的方程。

采样代理

采样代理是一个基于LLM的组件，为ODE系统的每个维度提出候选项，并附带有自然语言的理由说明。其输入提示包含三个部分：角色说明和系统描述、科学家代理的指导信息（包括累积知识、逐项评估结果和已移除的无效项骨架）、以及技术约束（输出格式要求和示例）。

与现有方法的关键区别在于：采样代理输出的每个项都附带基于系统描述的物理理由，且以可执行的Python片段形式呈现，利用状态变量和参数占位符。这种设计使得框架能够探索多样化的结构假设，同时保持评估和消融不同物理机制的能力。

参数优化器

参数优化器接收采样代理提出的项列表，通过两个步骤将其精化为精确的微分方程：构造可执行函数和优化参数。

目标是最小化残差MSE：

$$\sum _{i=0}^{N-1}({\dot{x}}_j(t_i)-f_j(t_i,\mathbf{x};\theta ){)}^2$$

论文选择残差MSE而非积分MSE有两个原因：（1）积分MSE在每次优化步骤中都需要昂贵的数值积分；（2）在多维系统中，一个维度的误差会导致积分过程中轨迹发散，即使正确识别的维度也会得到差分数。残差MSE独立评估每个维度，能够进行适当的信用分配。

在优化策略上，论文采用混合策略：首先应用差分进化找到有希望的参数区域，再使用BFGS进行精化。在实践中，三种策略（仅BFGS、仅差分进化、混合方法）均被评估，选择MSE最低的候选。这一设计选择直接回应了BFGS对初始化敏感、容易陷入局部最小值的问题。

科学家代理

科学家代理是DoLQ区别于现有方法的核心创新。它从两个互补视角评估候选方程：基于系统描述的定性评估和通过迭代比较测量的定量贡献。

定量评估采用简单消融测试。对于方程中的每个项，将其系数临时置零并重新计算残差MSE。如果移除该项后误差显著增大，说明该项有正向贡献；如果误差保持不变或减小，则说明该项不必要甚至有害。基于这一分析，项被分为三类：good（正贡献）、neutral（无显著影响）和bad（负贡献）。

定性评估由科学家LLM执行，评估每个项与系统描述中物理或数学含义的匹配程度。论文设计了详细的评估提示，包含当前迭代进度和系统描述、先前评估的累积见解和已移除的项结构、实验结果的全局最佳值和当前尝试值、以及语义质量评分标准和物理推理要求。

反馈综合通过决策矩阵确定每个项的最终行动：（1）如果语义质量为bad，立即移除；（2）如果语义质量和量化影响均为good，分配keep；（3）其他组合分配hold。连续两轮hold的项转为remove。为防止永久丢弃潜在有效项，概率性的遗忘机制会定期清空记录，允许重新探索之前被拒绝的候选。

实验与结果

实验设计

论文选择了ODEbench中的4个代表性ODE系统进行详细分析：SIR(2D)传染病模型、CDIMA(2D)化学动力学模型、Glider(2D)无量纲滑翔机模型和Glider(4D)全维滑翔机模型。所有8个基准问题用于最终的成功率统计。数据采用四阶Runge-Kutta方法生成，时间导数通过数值微分计算。

论文引入了扩展域内评估机制，相比标准的域内/域外划分，扩展域内测试集在保留观测初始条件的同时延伸了时间覆盖范围，用于检验发现方程在更长时域上的预测准确性。

对比基线包括ICSR、LASR、LLM-SR和EDL四种基于LLM的符号回归方法。所有方法均使用Gemini 2.5 Flash Lite作为底层LLM，搜索预算设置为100次迭代。

定量性能比较

论文采用归一化均方误差作为评估指标，同时报告残差NMSE和积分NMSE两种结果。

Table 2. 定量性能对比（NMSE，维度平均结果）

对SIR(2D)系统，由于方程形式相对简单，多数模型取得了低误差。但在CDIMA(2D)系统中出现了一个显著差异——基线模型往往有较低的残差NMSE却伴随极高的积分NMSE，说明未能捕捉真实物理。DoLQ在所有三个系统上保持稳定的积分NMSE，验证了其发现复杂非线性方程的鲁棒性。对于Glider(4D)，仅LLM-SR和DoLQ成功识别了正确的控制方程。

结构对比与成功率

Figure 3展示了对Glider(2D)方程的定性对比：DoLQ和LLM-SR成功识别了所有真实项，但LLM-SR的方程包含大量冗余项。DoLQ提出更少的项同时包含所有真实成分——这一效率源于科学家代理严格的评估机制。

Figure 4的成功率统计进一步证实了这一优势。在8个基准问题上，DoLQ在NMSE测试中成功7题，在项结构测试中成功5题，均领先于其他方法。值得注意的是，LLM-SR虽然NMSE成功率（4/8）尚可，但项测试成功率仅2/8，说明其方程结构恢复能力有限。

Figure 5的Token消耗分析显示，DoLQ在Glider(4D)上的总Token消耗远低于LLM-SR（约104万 vs 185万），表明其搜索更高效。

消融实验与组件验证

科学家代理的必要性（Figure 6）：将科学家代理从循环中移除后，DoLQ在Glider(2D)上的收敛从第27次迭代延迟到第62次迭代。分析推理日志确认，科学家代理的反馈高效过滤了早期搜索中物理不可信的项。

决策模式分析（Figure 7）：真实方程中的项持续获得高keep频率，说明科学家代理能有效识别物理相关项。即使这些项偶尔获得移除建议，概率采样机制使其能重新出现，确保鲁棒收敛。

混合参数优化的有效性（Figure 8）：即使提供正确的方程骨架，仅使用BFGS会因初始化敏感性而失败，而混合优化器成功定位全局最优。论文强调，差分进化能够成功优化这一事实本身验证了LLM提出的骨架在结构上与真实方程相似——若仅用BFGS，可能因优化失败而错误地否决一个合理的骨架。

批判性评估

从基线选择来看，论文覆盖了当前主流的LLM-based SR方法，但未包含非LLM的纯数值方法（如SINDy、PySR）作为对比基准。这一选择可以理解——论文的研究焦点是与LLM方法的对比，但缺少与非LLM方法的比较使得"LLM驱动的定性评估"相对于传统方法的具体收益无法定量衡量。

消融实验验证了科学家代理和混合优化策略的必要性，但未对搜索空间大小（每轮候选假设数量）和遗忘机制参数进行系统敏感性分析。遗忘概率设为0.01的合理性未作讨论。

实验结论对核心claim的支撑是充分的。在CDIMA(2D)上，DoLQ的积分NMSE比其他方法低4-5个数量级，这是定性评估价值的强有力证据。不过，论文未分析为什么在SIR(2D)这种简单系统上，DoLQ也引入了若干噪音乐项——这可能意味着定性评估在处理过于简单的问题时可能过度复杂化。

噪声鲁棒性实验（附录G.1）是一个积极的补充，但结果显示DoLQ对观测噪声敏感，绝对精度随噪声增加而下降。描述噪声鲁棒性实验（附录G.2）更值得关注：当提供部分不匹配的描述时，DoLQ的NMSE从$10^{-8}$级劣化到$10^{-2}$级，提示框架缺乏纠正错误先验知识的内在机制。

优势与局限性

优势

• 定性与定量评估的有机融合：DoLQ将LLM的语义推理能力嵌入搜索循环，解决了纯数值评估无法判断物理正确性的根本问题。这一设计的有效性在CDIMA(2D)等复杂非线性系统上得到了定量验证——DoLQ的积分NMSE比其他方法低4-5个数量级。
• 紧凑的方程结构：相比LLM-SR产生大量冗余项，DoLQ通过科学家代理的评估机制实现了更高效的搜索，在保持高拟合精度的同时产生更可解释的方程。
• 多维ODE系统支持：论文展示了在Glider(4D)这样的高维系统上的有效性，扩展了LLM-driven SR在科学发现中的适用场景。
• 可复现性：代码已开源，实验设置（表5-9）和基线参数均已详细报告，有利于后续研究复现和比较。

局限性

• 噪声敏感性：论文自身承认DoLQ不内置过滤观测噪声的机制，绝对精度随噪声增加而下降。这限制了其在真实实验数据（通常含有噪声）上的直接应用。
• 描述噪声缺乏鲁棒性：当提供不匹配或不准确的系统描述时，DoLQ缺乏修正错误先验知识的内在机制。这意味着在实际应用中，描述的质量直接影响结果可靠性，但用户可能难以判断自身提供的描述是否有偏差。
• 推理固化风险：论文指出推理固化偶尔会导致过早收敛到不可信的假设。附录H.1的幻觉审计进一步揭示了这一机制——LLM可能在数值证据不足时为探索性项赋予自信的物理解释，尽管这些过度解读最终不影响最终方程，但会影响搜索效率。
• 评估标准的主观性：定性评估依赖于LLM对物理含义的判断，而不同LLM后端（附录F的比较显示GPT-4o mini表现明显差于Gemini 2.5 Flash-Lite和DeepSeek-V3.2）可能存在不同的"物理理解"偏差。
• 计算成本结构未完全解耦：虽然论文提供了复杂度分析，但实际运行中LLM推理和数值优化的开销交织，使得精确的收益分析复杂化。

未来方向与开放问题

论文自身指出了几个值得跟进的方向。

积分式参数估计：当前的参数优化依赖数值微分计算的导数，对测量噪声敏感。论文提出发展基于积分的参数估计方法，利用积分MSE而非残差MSE进行优化，可以避免对噪声导数的依赖。

多样化假设生成与精细反馈机制：针对推理固化导致过早收敛的问题，论文建议改进反馈机制，增强假设生成的多样性，避免搜索陷入局部最优。

向偏微分方程的扩展：论文指出ODE受益于成熟的数值求解器，但扩展到PDE面临重大挑战——缺乏通用的PDE求解方法。这一方向需要结合PDE求解器研究的进展。

此外，从论文未充分讨论的角度，至少有两个开放问题值得关注。

评估标准的主观性来源：不同LLM后端在定性评估上的一致性如何？论文实验了Gemini 2.5 Flash-Lite、GPT-4o mini、DeepSeek-V3.2和Grok 4.1 Fast四种后端，结果显示GPT-4o mini的Glider方程发现质量明显劣于其他后端。这意味着定性评估的可迁移性可能存在后端依赖——在以Gemini为基准的实验中，定性评估的积极效果是否能在GPT-4o等模型上复现尚需验证。

无法区分"正确但低冗余"与"过度拟合"的边界：科学家代理通过消融测试识别"good"项，但这一策略依赖于系数优化后的结果。当数据包含噪声时，一个无关的项可能因偶然的数值补偿被标记为good。噪声鲁棒性实验中随噪声增加而快速劣化的NMSE数据暗示了这一问题的存在。

组会预判问答

Q1: DoLQ的定性评估是否真的必要？能否用更简单的规则替代？

论文通过Glider(2D)上的消融实验（Figure 6）直接回答这一问题。去掉科学家代理后，发现正确方程从迭代27延迟到迭代62，收敛速度显著下降。更重要的是，从图7的决策模式分析来看，定性评估不仅加速了发现，还改变了最终方程的结构——保留的项更少但更准确。一种简单的替代方案（比如仅基于系数大小或MSE变化率做规则判断）无法替代物理推理，因为一些数值上贡献小的项可能恰是物理上不可或缺的关键项。论文附录的决策矩阵（Table 10）显示，即使是"good"的定量表现，如果语义质量为"bad"也会直接被移除，这体现了定性评估不可替代的价值。

Q2: 系统描述T的提供方式是否隐含了答案信息？尽管不显式列出公式，但描述质量直接影响结果。

论文明确承认了这一设计选择，并在附录A.2中设计了控制机制：去除了方程名称、显式符号形式和直接函数形式线索。论文认为，这一设计不能严格证明不存在记忆效应，但迫使发现依赖于描述、数值优化和迭代项评估之间的一致性。论文附录G.2的噪声描述实验进一步表明，当描述不准确时性能显著恶化——这实际上确认了描述质量对结果的影响是实质性的。可以理解为，DoLQ的定性评估本质上是在验证候选方程的"语义一致性"而非"语义正确性"，其上限受限于用户提供描述的质量。

Q3: 为什么在SIR这种简单系统上，DoLQ反而产生了多余的噪声项？

从论文表11的ID-1结果来看，DoLQ在SIR(2D)上识别的方程包含了多出的小系数项，例如 $1.179\times 10^{-6}\cdot (-x_0{x}_1^2)$ 和 $0.000149\cdot 1$。虽然这些项的系数很小，但它们的存在确实不是真实方程的一部分。一种可能的解释是：在问题结构过于简单时，LLM的过度生成倾向和参数优化器的容差导致了这些小噪音乐项的保留。论文使用10次迭代和遗忘机制来管理，但SIR案例表明该方法在面对简单系统时可能不够精简。值得注意的是，这些噪声项并未显著影响NMSE（ID积分NMSE为$3.98\times 10^{-9}$），说明它们对轨迹预测的影响可忽略，但确实损害了方程的简洁性。

Q4: 方法的计算成本相比基线如何？尤其是Token消耗和运行时间。

论文在几个维度提供了对比数据。从Token消耗看（Figure 5和附录C.4），DoLQ在Glider(4D)上的总Token消耗（约104万）显著低于LLM-SR（约185万），因为科学家代理的评估机制减少了无效搜索。但从运行时间看（附录J的Table 23），DoLQ在Glider(2D)上的壁钟时间为744秒，低于LLM-SR的2294秒，但CPU时间（12.3秒）略高于LLM-SR（6.85秒），因为DoLQ的数值优化（混合优化策略的多次评估）增加了计算开销。论文选择报告壁钟时间作为核心指标，因为LLM调用的延迟在实际操作中是主要瓶颈。从峰值内存来看，DoLQ（0.235 GiB）远低于LLM-SR（0.420 GiB），这源于DoLQ紧凑的搜索策略。总体而言，DoLQ的计算效率优于基线方法，尤其是在Token和内存消耗方面。

Q5: 方法能否直接应用于真实实验数据？从噪声实验中看到性能下降显著。

论文在附录G.1中直接回应了这一问题。在Glider(2D)上，当添加$\sigma =0.001$的高斯噪声时，DoLQ的平均NMSE从约$10^{-8}$劣化到0.1086（ID）和0.1246（ID-Ext）；当$\sigma =0.1$时，NMSE进一步劣化到32.58和50.32。论文明确指出："DoLQ不内置过滤观测噪声的机制，其绝对精度随$\sigma$增加而下降。"论文建议未来通过积分式参数估计解决这一问题。可以理解为，当前版本的DoLQ更适合于数值模拟数据或经过预处理的相对干净的实验数据。对于直接含有噪声的真实实验数据，需要额外的去噪预处理步骤或调整优化目标函数的噪声处理机制。