Externalized CPDAG Summaries Improve LLM Causal Deduction

核心思路

先让模型输出字段受约束的因果图摘要,再依据该图回答问题。关键不只是“把思考写出来”,而是把决定答案的对象外显,并通过破坏图内容检验回答是否依赖它。

1. 背景与问题

Corr2Cause 给出变量相关性、条件独立关系,以及一个待判断的因果命题。正确答案要求命题在所有兼容的 DAG 中都成立;找到一个支持命题的合理故事还不够。

在因果 Markov、faithfulness 等假设下,这些约束通常只识别一组 Markov 等价的图。CPDAG 压缩表示这个等价类:有向边表示所有兼容图中被强制确定的方向,无向边保留尚未确定的方向。

例如三节点链 ,若只有 等相容信息,可能仍允许 、、。不能只选第一种就断言 导致 。自由 CoT 容易忽略这种全局歧义。

2. 方法与创新

Externalized CPDAG 图 1:先生成显式图状态,再执行问题判断

原论文图 1,v1 PDF 第 4 页。两阶段之间传递的是可检查的图对象;对照组也有 PC 算法提示,并非一个没有因果知识的弱基线。

第一轮生成有类型的图摘要

CausalAnalysis 对象包含:

字段含义
variables变量集合
skeleton不区分方向的邻接边
non_adjacent非邻接关系及对应分离集
v_structures强制定向的 collider 结构
directed已定向边
undirected保留歧义的边

提示中提供 PC 算法的删边、识别 v-structure、传播强制方向等步骤。Qwen 使用 schema 对应的约束解码;API 模型使用 JSON schema 工具接口来记录图对象。这里没有调用符号因果求解器来直接获得答案。

第二轮回答图查询

将摘要及紧凑 DOT 视图返回给模型,要求依据图结构判断待检验命题,最终输出 YES/NO。模型仍要处理等价类中的方向歧义,而不只是查一条边是否出现。

schema 只保证字段可解析,并不保证无环、字段一致、Meek 闭包或存在合法 DAG 补全。因此“输出符合 JSON 格式”和“构造出正确 CPDAG”要分别评估。

通过内容干预检查是否真的用图

分别移除第二轮原始前提、打乱 skeleton、v-structure 或有向边,并观察结果变化。这是一种行为依赖检验:如果图被破坏后回答明显恶化,说明图内容影响了回答。它不等于证明每个中间步骤都忠实,尤其打乱后的图可能已不合法。

3. 应用与效果

主要实验使用 Corr2Cause 的 1162 条 ID 测试样本,其中正例只有 180 条,因此主要报告正类 F1,而非只看总体准确率。表 1–4 的关键结果:

条件,Qwen3.5-27BF1(YES),%
一轮 PC-instruction 基线,主实验73.01
两轮 PC 提示、自由文本中间状态67.55
两轮 Structured Thinking,主实验86.36
第二轮移除原始前提82.56
第二轮打乱完整图的主要边字段74.32

主实验增益为 13.35 个百分点,95% bootstrap 区间约 。但三次完整 ID 运行的平均增益为 个百分点,不应只把主实验的 13 分当成稳定常数。

打乱图损失约 12.04 个百分点,比移除原始前提的约 3.8 分更大,支持中间图被实际使用。图审计也很重要:ID 的 skeleton F1 为 0.960,完整 CPDAG 匹配率 75.9%,仍有 18.4% 的输出存在图语义一致性问题。

证据边界

实验支持的是基于条件独立陈述的 CPDAG 演绎,不是一般 CKG 检索、数值干预预测或生产系统调优。收益还依赖算法提示、约束解码及第二轮查询方式的组合,不能归因于“只要给图就更好”。arXiv 页面备注称被 NeurIPS 2026 接收;本笔记以所读预印本为依据。

对 CKG 的启发(阅读判断)

应把当前任务真正需要的对象交给模型:可能是带条件的机理子图、公式依赖和参数来源,而不是照搬 CPDAG schema。验证时同时检查中间对象正确率与最终答案,并加入空知识、无关知识、替换关键机理等对照。损坏知识导致降分说明依赖,仍不自动证明这种依赖是正确的。

相关:MSA 将局部模型交给概率引擎执行;本篇让 LLM 本身读取外显结构。

依据:原文 v1,方法见第 3 节,主结果见第 4 节,消融、内容干预与图审计见第 5–7 节,限制见第 8 节;核对日期:2026-10-24。