SGA：LLM与仿真协同的双层优化科学发现框架

论文信息

一句话概要

论文提出Scientific Generative Agent (SGA)，一个将大语言模型与物理仿真以双层优化形式结合的通用科学发现框架：外层由LLM通过演化搜索对离散的符号表达式（如物理方程、分子结构）进行假设生成与修正，内层通过可微仿真对连续参数（如材料参数、原子坐标）进行梯度优化。在本构律发现与分子设计共8个任务中，SGA以数数量级的性能优势超越CoT、FunSearch、Eureka、OPRO等LLM基线，并能发现超出人类预期的可行方案，验证了知识驱动与计算驱动协同的科学发现新范式。

下载

背景与研究动机

在物理学、化学、药理学等物质科学领域，加速科学发现已成为人工智能的重要目标。论文指出，当前各领域的方法虽然高度专业化，却普遍缺少一个跨学科的通用方法论。作者认为，这种通用方法论对于降低先进研究工具的使用门槛、规范科学实践流程、提升跨领域效率具有关键意义。

观察人类科学家的实验过程，论文提炼出四个关键经验：科学发现是迭代假设-实验-修正的循环；解决方案天然包含离散组件（方程结构、分子连接方式）与连续组件（物理参数、原子坐标）；有效探索需要在利用已有知识与大胆探索之间取得平衡；科学发现遵循通用原则，同时各学科保留自身特有的细粒度知识。

论文进一步指出，大语言模型凭借其广博的知识储备与高级推理能力，在科学发现领域展现出独特优势。然而，现有LLM-based方法面临根本性局限：它们只能依靠LLM自身的计算能力完成任务，而在物质科学中，基于物理定律假设进行数值计算以预测自然现象是核心需求。这就引出了一个关键问题：如何将LLM的知识驱动抽象推理能力与物理仿真的精确计算能力有效结合？

现有方法的瓶颈

论文从两个研究路线归纳现有方法的核心局限。

第一类方法专注于用领域数据微调LLM，使其对齐科学信息。论文指出，这些方法受限于特定领域，需要大量数据才能扩展到更广泛的应用。例如，ChemBERTa针对化学结构、针对药物发现的LLM等工作，本质上都是领域绑定的。

第二类方法利用预训练LLM的固有能力，辅以互联网、编程或文档等外部资源。FunSearch将LLM与评估器配对以解决数学问题，Eureka利用LLM生成奖励函数，OPRO将LLM作为无梯度优化器。论文认为，这些方法虽然展示了LLM作为智能体的潜力，但"仅限于LLM的计算能力"。具体而言，在物质科学的任务中，LLM无法直接执行物理模拟来获取数值结果，而这是验证物理定律假设不可或缺的一环。

此外，论文还指出传统方法存在其他局限。在符号回归领域，大多数方法对输入变量数量和输出特征维度有严格限制（如NeSymReS限制为3变量以内，T-JSL限制为2变量以内），且难以处理多输出维度之间的结构相关性。以梯度下降为基础的可微架构搜索（如DARTS）虽然也使用双层优化框架，但需要预定义的搜索空间，限制了探索范围。

核心洞察与贡献

论文的核心洞察可以概括为：物质科学发现中的离散组件（方程结构、分子拓扑）与连续组件（参数、坐标）具有本质不同的优化性质，需要采用差异化的优化策略。离散组件适合基于搜索的符号推理（LLM擅长），连续组件适合基于梯度的数值优化（仿真擅长）。将两者通过双层优化框架协同，可以同时发挥LLM的知识驱动推理能力与仿真的计算精度。

在此基础上，论文提出以下具体贡献：

• 提出一个将LLM与物理仿真结合的物质科学发现通用框架，通过最小修改（如调整提示词）即可跨学科应用，解决了现有方法领域绑定的问题。

• 设计双层优化机制：外层由LLM负责离散空间的搜索式优化——生成和修正物理方程、分子结构等符号表达式；内层通过可微仿真进行连续空间的梯度优化——精细调节材料参数、原子坐标等连续变量。这直接回应了现有方法中LLM计算能力不足的瓶颈。

• 设计探索-利用策略，通过调节LLM的解码温度来平衡继承过往经验与大胆探索新思路。这与人类科学家在谨慎推进与突破性探索之间取得平衡的经验相呼应。

• 通过大量实验验证了框架的有效性和通用性，在本构律发现和分子设计任务中均显著超越基线方法；更值得注意的是，系统发现了"从传统角度看出乎意料但经领域专家分析后被认为合理"的新颖分子和本构律。

方法详解

SGA是一个双层优化框架，其核心思想已经在洞察部分阐述。本节从问题形式化、外层优化、内层优化、探索-利用策略四个层面展开技术细节。

问题形式化。论文假定存在一个物理现象评价函数$L(y)$，仿真器$\Phi$将科学表达式$E$和连续参数$\theta$映射为模拟现象$y$和额外观测反馈$z$：

$$y,z=\Phi (\theta ;E)$$

LLM被提示作为思考者，基于历史实验结果提出新的表达式和连续参数化方案：

$$E,\Theta =\text{LLM}\left(\{L(y_k),z_k,o_k,E_k,{\Theta }_k{\}}_{k\in [K]};P\right)$$

其中$[K]$是历史记录的指针集合，包含损失值、物理反馈、内层优化中间结果$o_k$等。基于此，双层优化问题形式化为：

$$\underset{E,\Theta }{\min }L\left(y\left(E,\Theta ,\hat{\theta };\Phi \right)\right)\text{s.t.}G(E,\Theta ;\Phi )\le 0$$

$$\hat{\theta }\in \arg \underset{\theta \in \Theta }{\min }L\left(y\left(\theta ;\Phi ,E\right)\right)$$

外层优化搜索表达式$E$和连续参数化空间$\Theta$，内层在给定外层变量后搜索最优连续参数$\hat{\theta }$。约束条件$G(\cdot )\le 0$确保表达式在仿真中可执行。

LLM驱动的外层优化。论文设计了一个与仿真交互的协议来弥合两者之间的鸿沟。从LLM到仿真的方向，论文考虑了两种设置。在本构律搜索中，LLM生成包含forward函数（定义方程计算逻辑）和init函数（定义可训练的连续参数）的PyTorch代码。在分子设计中，LLM生成SMILES字符串（离散结构）和初步的3D原子坐标。从仿真到LLM的方向，论文通过领域专家设计的函数提取紧凑的相关信息作为观测反馈传递给LLM，这一过程类似于有经验的科学家指导初级研究员如何有效记录实验发现。

为了驱动外层搜索，LLM被提示进行三步结构化推理：分析历史实验结果的物理含义→制定改进假设的高级计划→生成可执行代码。论文采用演化搜索策略，每次迭代生成多个后代候选，并保留最优选择。与标准演化算法不同的是，SGA从Top-K堆中选择多个高性能候选而非仅选最优，这有助于提升假设的可行性并促进演化交叉。

可微内层优化。在为外层给定的表达式$E$和参数化空间$\Theta$下，内层优化通过梯度下降求解最优连续参数$\hat{\theta }$：

$$\hat{\theta }\in \arg \underset{\theta \in \Theta }{\min }L\left(y\left(\theta ;\Phi ,E\right)\right)$$

领域专业知识通过梯度${\nabla }_{\theta }\Phi (\theta ;E)$从仿真蒸馏到中间优化结果$o$（如损失曲线）。这些结果与模拟现象$y$一起被反馈给LLM用于修正方案。例如，当目标度量$L$为位移时，$o$可以包含整个优化过程中的速度信息。

探索与利用策略。论文通过调节LLM的解码温度来实现探索-利用平衡。在每次迭代生成后代时，将候选方案分为两组：一组使用低温（$T_l=0.5$）生成"谨慎的追随者"，保守地继承过往解决方案；另一组使用高温（$T_h=1.0$）生成"大胆的冒险者"，勇于提出独特方案。论文通过经验发现，1:3的利用-探索比例效果良好。值得注意的是，论文观察到利用组常产生重复方案，而探索组则容易产生过于随机或不可执行的方案——这正是需要两者平衡的原因。

实验与结果

论文在8个任务上进行了系统评估，包括4个本构律发现任务和4个分子设计任务，涉及弹性材料、塑性材料、颗粒材料、弱可压缩流体以及分子的HOMO、LUMO、能隙等量子力学属性。

基线全面性评估。论文选择了4个具有代表性的LLM基线方法：Chain-of-Thoughts（CoT）、FunSearch、Eureka和OPRO，以及SGA的两个消融变体。Table 1展示了全面的对比结果：

Table 1. Benchmark

可以看到，完整SGA在所有任务上比基线方法低数数量级。当去除双层优化后，性能急剧下降，但仍优于其他基线。当去除探索但保留双层优化时，性能有所回升，但在困难任务（如(b)和(f)）上与完整方法差距超过50%，验证了探索-利用策略的有效性。

论文还设计了泛化性测试。在本构律发现任务上，SGA在简化为符号回归任务的对比中，以$R^2=0.999$、MSE=17424.6的成绩超越了SRBench中14个传统符号回归方法和3个数据驱动预训练方法。在分子设计任务上，SGA大幅超越了传统的基于群体的分子设计方法GhemGE。

关键消融实验。论文进行了三项核心消融分析。

首先是泛化性 vs. 记忆化测试。论文构造了一个不存在的"想象本构律"——将von Mises塑性、颗粒材料和弱可压缩流体按比例混合。结果显示SGA仍能发现这一虚构本构律（Loss=0.0013），远优于FunSearch(105.0)、Eureka(89.1)、OPRO(98.0)，证明了改进并非源于LLM在训练数据中见过答案。

其次是双层优化关键性验证。比较仅外层优化与仅内层优化的轨迹，双层优化的性能显著更优。更重要的是，"锯齿曲线"揭示了LLM与仿真如何相互促进：经过仿真优化的结果能帮助LLM提出更好的假设，而LLM改进的假设又为仿真提供了更优的起点。这印证了论文关于"LLM是通才科学家，仿真是领域专家"的核心论点。

第三是骨干LLM的鲁棒性。除了GPT-4，论文还在GPT-3.5、Claude-3-Sonnet、Mixtral-8x7B上进行了实验。结果显示GPT-4性能最优，Claude-3在大多本构律任务中排名第二，而Mixtral-8x7B在两个分子设计任务中甚至位居榜首。这表明框架对不同LLM具有鲁棒性，但建议实践者优先尝试GPT-4。

批判性评估。值得注意的是，论文的实验设计存在几点局限。第一，baseline选择主要聚焦于直接与LLM交互的方法，但并未包含最优的传统分子设计方法——与GhemGE的对比虽然显示了优势，但GhemGE的发表于2018年，近年来已有更先进的分子生成技术（如基于图神经网络的生成模型）。第二，消融实验中"无探索"变体在某些简单任务上表现与完整方法相近甚至更好，这一现象没有得到充分讨论——这可能意味着探索策略的收益主要在困难任务上显现，在简单任务中反而可能引入不必要的随机性。第三，论文使用GPT-4的成本约为每个任务10美元，当迭代次数增加至20次时，成本线性增长，这对实际大规模应用构成限制。

优势与局限性

优势。SGA的核心优势在于其将两种互补的优化策略——符号搜索与梯度优化——有机融合，并借助LLM的通用知识实现了跨领域适用性。框架的模块化设计允许在不同学科中仅通过修改提示词即可适应，无需大量领域数据。探索-利用策略通过简单的温度调节有效地平衡了搜索的广度与深度。在实验层面，论文在8个任务中均取得了数量级领先的性能，并且展示了发现"超预期但合理"的新颖方案的能力——这暗示框架具有突破性科学发现的潜力。可复现性方面，论文公开了详细的提示词模板和优化算法伪代码，实验使用了5次不同种子的独立运行以确保统计稳定性。

局限性。论文明确承认了六方面的局限。首先，LLM生成的代码可解释性难以保证，尽管要求生成伪代码计划和注释，但本质上无法确保人类能理解其推理过程。其次，LLM生成的代码直接执行存在AI安全风险，可能危害操作系统。第三，方法仅利用LLM的内部知识作为先验，而现实世界中人类科学家通常设计手动的约束和规则来规范和改进优化过程。第四，性能高度依赖于生成代码的可微性，尽管论文指出零阶优化器（如CMA-ES）在连续参数数量有限时也可发挥作用。第五，LLM推理需要大量计算资源，每个任务约10美元的费用在大规模应用或更多迭代时可能难以接受。第六，由于Top-K堆会复用历史解决方案，相邻迭代间的KV缓存高度相似，这为利用KV缓存优化加速提供了机会但尚未实现。

未来方向与开放问题

基于论文自身指出的局限，可以提炼出以下值得关注的开放问题。

第一，如何提高LLM生成科学假设的可解释性与可控性？当前方法虽然要求LLM生成分析、计划和代码，但无法保证其推理过程对领域专家完全透明。引入结构化推理中间表示或因果图约束可能是一个方向。

第二，如何将人类专家知识与领域先验有效融入框架？论文方法仅依赖LLM预训练时吸收的知识，未利用人类设计的显式约束规则。将AI Feynman等方法的符号回归约束机制引入双层优化是一个值得探索的结合点。

第三，能否将框架推广到需要零阶优化的场景？当生成的代码不可微时，内层优化只能依赖进化算法等零阶方法。论文指出此方向但未深入实验，在非线性复杂模拟（如非连续弹塑性问题）中这一需求可能更为突出。

第四，计算效率与可扩展性是实际部署的关键瓶颈。论文建议利用LLM推理中相邻迭代KV缓存的高相似性进行加速，这在实际系统中可能带来数倍的速度提升。此外，成本-性能权衡在不同迭代次数下的表现（从5次到20次，困难任务提升50%-500%+）提示实践者需要根据任务难度动态调整计算预算。

组会预判问答

Q1: 为什么选择本构律发现和分子设计作为验证任务？这两个任务是否足够代表"物理科学发现"的广度？

论文选择这两个任务是因为它们分别代表了方程搜索和实体搜索两种不同类型的科学发现模式。本构律发现涉及符号表达式的搜索（方程形式），而分子设计涉及离散结构的搜索（连接方式）。但这确实不能覆盖所有物理科学发现类型——例如，天体物理学中的观测数据解释、地质学中的过程模拟等场景未被讨论。论文在引言中声称框架是"通用的"，但实验验证的领域广度有限。

Q2: 内层可微优化是否对所有科学发现问题都适用？当模拟不可微时，框架如何应对？

论文明确承认了这一点。方法在性能上高度依赖于生成代码的可微性。论文的方案是将其作为一个开放式问题留给未来工作，并指出零阶优化器（如CMA-ES）在连续参数数量较少时也可发挥作用。从技术角度看，可以将内层优化设计为混合策略——优先尝试梯度优化，若失败则回退到零阶方法，但这会引入额外的计算开销。

Q3: 探索-利用策略中1:3的比例是如何确定的？是否在不同任务之间进行过调节？

论文提到这是"经验法则"（rule of thumb），并指出探索组通常产生太多随机或无效的方案（违反仿真可行性约束）。论文未在单个任务级别进行比例调节的实验。一种可能的解读是，1:3的比例可能偏向探索，因为论文观察到利用组"常产生重复方案"而探索组可能贡献新颖性。不同任务的最佳比例可能不同，特别是当任务对探索的敏感性存在差异时。

Q4: 论文声称LLM的编码能力和领域知识是框架成功的关键，这是否意味着框架性能高度依赖于LLM的质量？当使用更弱的LLM时，性能衰退是否有模式？

论文通过GPT-3.5、Claude-3和Mixtral-8x7B的对比实验表明，GPT-4整体最优，但Mixtral-8x7B在部分分子设计任务上排名第一。这意味着更强的LLM不一定在所有子任务上最优，开源模型在某些场景下可能更有优势。但实验未分析性能衰退的模式——例如，是否在外层分析的深度上出现退化，或是在代码生成的语法正确性上出现退化。从论文给出的提示词复杂度来看，较弱的LLM可能在多步推理的连贯性上受限。