1 训练算法

在量化误差分布中，可以有多种方式去衡量两个高维度数据分布之间的拟合损失，或者叫相似性。在本节中，首先简要介绍本文算法中衡量分布间差异的方法——KL散度。

散度(又称相对熵）是对两个概率分布与间的相似程度进行度量的常用方法之一，其具体概念与信息论中的熵密切相关，散度的具体计算公式也能够通过相对熵与信息熵作差得到。因此，下面内容将以离散型随机变量为例，对交叉熵及散度进行简要介绍。在信息论中，交叉熵可认为是用真实分布对预测分布进行编码时所需信息量大小。此时，为了度量上述分布与间的相似程度，只需计算预测分布与真实分布编码时所需信息量的差异。这样就得到了散度的计算公式。