贝叶斯网络模型
贝叶斯定理：
贝叶斯定理是概率论中的一个结论，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理能够告知我们如何利用新证据修改已有的看法。通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。
贝叶斯公式：
贝叶斯公式为利用搜集到的信息对原有判断进行修正提供了有效手段。在采样之前，经济主体对各种假设有一个判断（先验概率），关于先验概率的分布，通常可根据经济主体的经验判断确定（当无任何信息时，一般假设各先验概率相同），较复杂精确的可利用包括最大熵技术或边际分布密度以及相互信息原理等方法来确定先验概率分布。
贝叶斯网络：
贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图,由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。
信息熵模型
从信息熵的观点上可以看出，其实软件设计与通信、统计学、复杂度、文本识别等处理是一致的，其在这些方面的经验和结论可以引入到软件设计中来，只是在软件设计中存在一些新的研究课题而已。
所以，如果需要确定此“置换”的设计，我们可以先从其与之相关联的外围的“置换”进行分析，此可以降低其设计的不确定性，并能够更好的进行分析。
最大熵原理：
最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。选用这种具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。这种方法虽有一定的主观性，但可以认为是最符合客观情况的一种选择。
最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。
从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。
柯尔莫哥洛夫复杂度：
一个字符串s的柯尔莫哥洛夫复杂度（K(s)）是这个字符串的最短描述的长度。换言之，一个字符串s的柯尔莫哥洛夫复杂度是能够输出且仅输出这个字符串的最短计算机/图灵机程序的长度。
柯尔莫哥洛夫复杂度具有不可计算性。
如果序列服从熵为H的分布，那么该序列的柯尔莫哥洛夫复杂度K近似等于香农熵H，实际上，柯尔莫哥洛夫复杂度比香农熵更为基础。
算法复杂度与计算复杂度二者之间存在微妙的互补关系，计算复杂度（也就是时间复杂度）与柯尔莫哥洛夫复杂度（也就是程序长度或描述复杂度）可以看成是对应于程序运行时间与程序长度的两条轴。柯尔莫哥洛夫复杂度是沿第二条轴的最小化问题，而计算复杂度是沿第一条轴的最小化问题。沿两条轴同时进行最小化的工作几乎没有。
原文地址：http://blog.51cto.com/13832308/2133200