LLM-IDEA

LLM-IDEA: Identifiability-Driven Experimental Agent for Autonomous Discovery of Mechanistic World Models

核心思路

自主科研智能体在学习机制模型时总会卡住。卡住有两种原因：一是能力不够，继续搜索、换更强的提议者就能突破；二是数据本身决定不了答案（不可识别），同类实验做再多也没用。LLM-IDEA 在循环里加入一个不含 LLM 的确定性可识别性引擎：对智能体自己的模型和数据计算灵敏度矩阵的秩，点名哪个参数方向被混淆，为候选实验排序，并在能证明的时候给出证书：“这个方向对当前这一类实验全部不可见”。于是平台期被分成三种处理：继续搜索、在同类实验里换一个更好的、换一类实验。

1. 背景与问题

LLM 智能体已被用来设计实验、拟合机制模型（例如 MDA、LLM-ACES）。它们把“可识别性”当成下一个实验自然会解决的问题：MDA 按信息增益选实验，LLM-ACES 选候选模型分歧最大的轨迹。但它们都不计算当前模型的灵敏度秩，也不会输出“这一类实验都帮不上忙”这样的结论。结果是，智能体要么对一个数据约束不了的目标反复修改，要么报告一个拟合得很好、却没有预测力的模型。

结构可识别性、实践可识别性和基于 Fisher 信息的实验设计，在控制、系统生物学、流行病学中已用了几十年，相关数学并非本文首创。作者的贡献在于：把“分诊 + 证书”变成智能体自己的停止规则和设计规则，给出它何时可靠的条件，并把它用作评测工具。

一个贯穿全文的例子是口服药代动力学的一房室模型：

$$y(t)=\frac{FD{k}_a}{V(k_a-k_e)}(e^{-k_{e}t}-e^{-k_{a}t}),\theta =(k_a,k_e,V,F).$$

生物利用度 $F$ 和分布容积 $V$ 只以比值 $F/V$ 出现。口服采样再密、时间窗再长，也分不开二者；只有加一组静脉给药（此时 $F=1$）才能分开。这就是换一类实验的典型情形，也正是药理学家实际的做法。

2. 方法与创新

系统由两部分组成：

部分	组成	是否用 LLM
Agentic Council（提议者）	5 个角色，其中综合者汇总其余角色的意见，起草假设和候选实验；各角色共享一个知识图，其中一个角色从历史提议中提炼评判标准，注入之后的提示（另有一个辩论庭，但本文的运行中从未被调用）	是
可识别性引擎	诊断、设计排序、类级证书，以及把三者接到提议者上的循环；全部用 numpy、sympy、scipy 计算	否

LLM 只负责提出，从不负责判断。

诊断：灵敏度矩阵的秩

把模型写成 $y=f(\theta )+\epsilon$，在当前参数点计算灵敏度矩阵（雅可比）：

$$S(\theta {)}_{ij}=\frac{\partial f_i(\theta )}{\partial {\theta }_j}.$$

一般用中心差分；ODE 模型改用前向灵敏度方程，更精确。根据 $S$ 给出三种判断：

情况	判断	含义
满秩，且条件数 ≤ $10^8$	局部可识别	数据能确定所有参数
秩 $<p$	局部不可识别	$S$ 的零空间就是被混淆的参数组合：沿这个方向移动参数，预测在一阶意义下不变
满秩，但条件数 $>10^8$	实践不可识别（“sloppy”）	理论上能确定，但对噪声极其敏感

药代模型中，24 个采样点给出秩 3/4，零空间方向正好沿着 $(V,F)$ 的同比例缩放（余弦 1.000000）。对有理函数或 ODE 形式的模型，还可以做精确的符号结构检验。两个注意点：噪声水平不影响秩和条件数；这只是在当前参数点的局部分析。

设计排序：先看秩，再看条件数

给定若干候选实验（不同的输入、配置、采样时间），排序器在同一参数点逐个计算“加上这个实验后的秩”。每恢复一个参数方向记 1 分，条件数作为小于 1 分的平局裁决；无法执行的畸形提议记最差，但不会让排序崩溃。

药代例子：加密口服采样、延长到 72 小时，秩都还是 3/4；加静脉组后秩为 4/4，排序器推荐静脉组。

这只是一个启发式规则，不是 D-最优、A-最优或期望信息增益。作者后来做了直接对比（见第 3 节）。

类级证书：这个方向是否对整类实验不可见

“跑了 $R$ 轮还没解决”只说明提议者没找到办法，不说明办法不存在；弱提议者和根本无解的实验类，表面上看起来一样。证书就是用来区分这两种情况的。

设实验类 $\mathcal{C}$ 是智能体能做的全部实验（如全部初始条件、全部采样时刻、全部剂量）。类灵敏度为

$${\mathcal{S}}_{\mathcal{C}}(\theta )=\mathrm{span}\{{\nabla }_{\theta }f(d;\theta ):d\in \mathcal{C}\}\subseteq {\mathbb{R}}^p,$$

它的维数叫类秩，正交补 ${\mathcal{N}}_{\mathcal{C}}(\theta )$ 是类中任何实验都看不到（一阶意义下）的方向。

路线	做法	结论强度
符号路线（模型有闭式）	把零向量 $u$ 舍入为小有理数，$\theta$ 写成精确有理数，实验变量（时间、半径、剂量、初值）保持符号；检查方向导数 $u\cdot {\nabla }_{\theta }f(x;\theta )$ 能否化简为恒等于 0	在该参数点上是证明
数值路线（黑箱模型）	从类中抽许多实验，把它们的灵敏度矩阵堆叠起来，检查 $\Vert Su\Vert /\Vert S\Vert \le 10^{-7}$	只是对抽到的那些实验的证据

正则性检查。 一阶为零并不等于不可识别。反例：$f(x;b)=b^3{x}^2$，在 $b=0$ 处所有实验的 $\partial f/\partial b=3b^2{x}^2$ 都是 0，但 $b\mapsto b^3{x}^2$ 是单射，一个实验就能确定 $b$。问题在于 $b=0$ 是奇异点：类秩在该点为 0，在附近却为 1。因此两条路线在发证书前，都会比较该点与三个随机邻近点的类秩；若邻近点的秩更高，就拒绝发证书。

可靠性（命题 1，基于 Rothenberg 定理）。 若类秩在 ${\theta }_0$ 附近保持为常数 $r$，则 ${\mathcal{N}}_{\mathcal{C}}({\theta }_0)$ 中的每个方向都切于一个 $(p-r)$ 维子流形，类中任何实验、任何有限组实验在这个子流形上给出的输出都相同。由此得到一个推论：任何只依赖类内实验预测的评分（例如类内留出轨迹的误差）在证书方向上都是盲的，既奖励不了，也惩罚不了。

三路分诊与循环

平台期诊断	判定	该做什么
当前设计已满秩	capability（能力限制）	数据足够，继续搜索模型形式
不满秩，且至少一个混淆方向没有证书	design_within_class	同类实验里存在能解决的，交给排序器挑
不满秩，且所有混淆方向都有证书	change_class	这一类实验都没用：换实验类，或者只报告可识别的参数组合

算法在第 0 轮就运行证书；若判定为 change_class，立即以 exhausted_by_certificate 结束，一次 LLM 调用都不花。否则每轮由 LLM 提出候选实验，排序器选出一个，执行后重新诊断：满秩则 solved；剩余方向全部有证书则 solved_up_to_class_symmetry（同类实验已经做到头了）；轮数用完则 exhausted，并报告可识别的组合。

原论文图 4，v1 PDF 第 17 页。橙框是唯一调用 LLM 的一步，蓝框是确定性计算。左：LLM 要求一组不同电荷的系统，排序器选出含两个不同电荷积的设计，重新诊断后满秩，一轮解决。右：LLM 要求新的初始条件，仍只有一个电荷积，秩始终是 1/2，三轮后耗尽。加入证书后，右侧分支会在第 0 轮直接因证明而停止。

测试平台 Alien Universe

作者自造了一个二维二体问题：引力带 $r^{-3.5}$ 修正项，另有一个依赖两个物体隐藏“电荷” $s_1,s_2$ 的周期性斥力，

$$F_s(r,s_1,s_2)=\beta s_1{s}_2\frac{1-\cos (\gamma r)}{r^2},$$

切向惯性也随 $s_1{s}_2$ 变化。因为电荷只以乘积 $s_1{s}_2$ 出现，可以精确地开关可识别性：

• 只观测一种电荷配置时，$s_1{s}_2$ 是个常数，“存在隐藏电荷”这件事在数据上不可见；
• 观测一族电荷积不同的系统时，乘积结构就能被检验。

但即便是一族系统，也只能确定每个系统的 $\beta s_1{s}_2$。$s_1\leftrightarrow s_2$ 互换对任何实验都是对称的；把所有电荷乘 $\lambda$、同时把 $\beta$ 乘 ${\lambda }^{-2}$，结果也不变。所以正确的目标是乘积，而不是单个因子。智能体按 L1–L4 的阶梯计分：主导力、修正项、存在隐藏属性、隐藏力的形式。

论文没讲清的

• 实验类 $\mathcal{C}$ 由人声明，证书的结论完全依赖这个声明：类划得太窄，就会把本可解决的问题判为无解。如何让智能体自己确定合适的类，文中没有讨论。
• 诊断在“当前参数点”进行，而参数点本身来自智能体的拟合；拟合偏差很大时，结论还是否可靠，没有分析。
• 实时循环中，LLM 只在两个固定动作里选，且平台期是人为构造的；在开放设计空间中，提议者能否提出能恢复秩的实验，尚未测量。

3. 应用与效果

在不是自己构造的系统上验证（不使用 LLM）：

• Lotka-Volterra、Van der Pol、Lorenz 的已知结论全部复现；人为植入的混淆（参数只以乘积或和的形式出现）被准确找出。
• 药代模型推荐静脉组。但口服数据还存在“$k_a$、$k_e$ 互换”的离散对称性，局部诊断看不到这第二个解。
• ODEBench（LLM-ACES 使用的 63 个系统）：62 个含自由常数的系统中，60 个在第 0 轮就可识别。RC 电路 $\dot{x}=(c_0-x/c_1)/c_2$ 的常数只以 $c_0/c_2$ 和 $1/(c_1{c}_2)$ 出现，被证书判为“任何初值、任何时间窗都分不开”；从所有候选初值出发，沿该方向错开的两个模型的轨迹差只有 $5\times 10^{-14}$，基于分歧的选择准则无从下手。另一个捕捞模型则可以通过增加一个初值解决。

排序准则正面比较（ODEBench，11 个相同的候选实验）：A-最优设计的参数精度最好，且是唯一显著优于作者排序器的准则；D-最优、期望信息增益与作者排序器难分高下；候选分歧准则最弱，随机最差。在 RC 电路上所有准则都盲。作者据此建议：先用秩判断可行性，在满秩候选中再用 A-最优挑选。

审计已发表的基准 DiscoverPhysics：有两个世界的解释评分奖励“分数阶算子”而非“幂律”，但二者在所有合法实验中完全等价（$\alpha \leftrightarrow n=3-2\alpha$ 的重参数化）。在这两个世界里，轨迹预测准确的模型全部没通过解释评分（15/15），在可识别的世界中则是 5/9（$p=0.012$）。审计还发现其中一个世界的评分标准与模拟器的物理相矛盾。

Alien Universe：可识别协议下，8 个种子中 8 个达到深度 ≥ 3，不可识别协议下只有 1 个。作者强调这只说明开关按设计生效，不代表智能体能自主发现。他们还把引擎用到自己基准的评分器上，结果评分器所用的观测设计在四个候选中排最后。

证据边界

• Alien Universe 的对照同时改了数据和任务描述：可识别一侧的提示直接告诉智能体存在一个按物体区分的未观测属性。各种子共享一个提炼过的评判标准库，并不独立，因此 p 值偏乐观。每格只有 8 个种子，且前后换过 LLM 供应商组合。
• 诊断是局部的：它看不到别处的离散解（如药代模型中的互换对称），结论也取决于哪些量被声明为已知（例如初值未知时，Lotka-Volterra 就会出现新的不可识别）。
• 数值证书的 $10^{-7}$ 阈值恰好落在有限差分的噪声水平上，Michaelis–Menten 的结果在另一个平台上为 $1.2\times 10^{-7}$，没能复现。数值秩还依赖参数的尺度，作者最后改用对数参数坐标。
• 引擎在 ODEBench 上暴露过错误：中心差分的舍入误差把 RC 电路真实为零的奇异值抬高，导致误判为可识别；成对检验也看不出三个导数之间的线性相关。这两点都在修正后才重跑。
• 大量结果属于探索性分析，多项预注册的预测没有成立，作者都如实报告了。实时 LLM 循环只有 5 次计分调用、2 个固定动作，只是演示，不是有统计效力的测量。

对 CKG 的启发（阅读判断）

知识条目应当记录可识别性状态：在哪一类实验下，哪些参数组合是确定的（如 $F/V$、$\beta s_1{s}_2$），哪些方向是被证明不可分的。对不可识别的部分，只存可识别的组合，而不是一个碰巧拟合出来的具体值。当知识构建卡住时，应先分清是“还没找到”“同类实验可以解决”还是“必须换一类证据”，再决定把预算花在哪里。DiscoverPhysics 的审计还提示：评测 CKG 时，不应考查一个用可用证据根本无法区分的区别。与 MDA 对照：MDA 保留竞争假设、选能区分它们的实验；LLM-IDEA 先问这种区分在原则上是否可能。

相关：MDA 是文中的主要对照，走贝叶斯信息增益路线；CAMEO 讨论跨环境哪些因果结构不变；LLM-SR 做方程发现但不分析参数是否可识别；LLM-DM 同样让 LLM 起草、由外部确定性工具检验。

依据：原文 v1，与 MDA、LLM-ACES、CARTOGRAPH 的区别见第 2.1 节，诊断、排序、证书与分诊见第 3.2–3.5 节，可靠性条件见第 3.6 节，算法见第 3.7 节，Alien Universe 见第 4 节，验证与审计见第 5.2、5.8–5.10 节，实时循环见第 5.4 节，局限见第 6 节；核对日期：2026-11-02。