反问题

为了预测测量的结果，需要 (1) 被研究系统的模型，以及 (2) 将模型参数与被测量参数联系起来的物理理论。这种在给定定义模型参数值的情况下对观测结果的预测构成了“正常问题”，或者用反问题理论的术语来说，是正向问题。“反问题”包括使用实际观测的结果来推断表征被研究系统的参数值。

反问题可能难以解决，至少有两个不同的原因：(1) 模型参数的不同值可能与数据一致（知道主桅杆的高度不足以计算船长的年龄），以及 (2) 发现模型参数的值可能需要探索巨大的参数空间（在 100 维的干草堆中找到一根针是困难的）。

尽管大多数反问题的公式直接进入 优化 问题的设置，但实际上最好从概率公式开始，然后优化公式作为副产品出现。

考虑一个具有体积概念的 流形 。那么对于任何 ，

体积概率是一个函数 ，它将概率与任何 相关联

如果 是一个配备了一些坐标 的度量流形，那么

和

（注意体积概率 是不变的，但概率密度 不是；它是一个密度。）

体积概率的基本运算是它们的乘积，

其中 。这对应于“概率的组合”，非常适合许多基本的推断问题。

考虑一个例子，其中两架飞机对一名遇难者的地理坐标进行了两次估计。设概率由两个体积概率 和 表示。结合这两条信息的体积概率是

体积概率的乘积运算扩展到以下情况

1. 在第一个流形 上定义了一个体积概率 。

2. 在第二个流形 上定义了另一个体积概率 。

3. 存在从 到 的应用 。

那么，上面介绍的基本运算变为

其中 。

在一个典型的反问题中，有

1. 一组模型参数 。

2. 一组可观测参数 。

3. 关系 预测可能的观测结果。

模型参数是模型参数流形 上的坐标，而可观测参数是可观测参数流形 上的坐标。当 上的点表示为 、、... 并且 上的点表示为 、、... 时，模型参数和可观测参数之间的关系可以写成 。

一个典型的反问题的三个基本要素是

1. 关于模型参数的一些先验信息，由在 上定义的体积概率 表示。

2. 关于可观测参数获得的一些实验信息，由在 上定义的体积概率 表示。

3. 我们刚刚看到的“正向建模”关系 。

方程 (8) 的使用导致

其中 是归一化常数。此体积概率表示关于模型参数的最终信息（通过组合可用信息获得）。方程 (9) 提供了反问题的更通用解。常见方法（蒙特卡罗、优化等）可以看作是此方程的特定用途。

考虑一个来自采样的例子，对先验体积概率 进行采样，以获得（许多）随机模型 、、.... 对于每个模型 ，解决正向建模问题，。给予每个模型 与 成正比的“生存”概率。幸存的模型 、、... 是后验体积概率的样本

考虑一个来自最小二乘拟合的例子，模型参数流形可能是一个线性空间，向量表示为 、、...，并且先验信息可能具有高斯形式

可观测参数流形可能是一个线性空间，向量表示为 、、...，并且测量带来的信息可能具有高斯形式

对于这些符号，正向建模关系变为

那么，模型参数的后验体积概率为

其中失配函数 是平方和

最大似然模型是最大化 的模型 。它也是最小化 的模型。它可以使用拟牛顿算法获得，

其中 黑塞矩阵 是

并且 梯度 是

这里，切线线性算子 通过以下方式定义

正如我们所看到的，算法收敛的模型 最大化了后验体积概率 。

为了估计后验不确定性，可以证明，在高斯体积概率的协方差算子，在 处与 相切的是 。