1. 定义
2. 伯努利分布（Bernoulli Distribution）是一种离散型概率分布，它用于描述只有两种可能结果的随机试验。这两种结果通常被标记为(0)和(1)，例如成功（(1)）和失败（(0)）。

3. 设(X)是服从伯努利分布的随机变量，(p)表示一次试验中结果为(1)（成功）的概率，那么(X)的概率质量函数（PMF）为(P(X = k)=p^{k}(1 - p)^{1 - k})，其中(k = 0,1)。

4. 示例

5. 抛硬币是典型的伯努利分布例子。设正面朝上为成功（(X = 1)），反面朝上为失败（(X = 0)）。如果硬币是公平的，那么正面朝上的概率(p=\frac{1}{2})。...

Read more

1. 含义解释 当说“the boundary is linear”时，意思是边界呈现线性的形态。从几何角度来讲，线性边界通常可以用直线方程来描述，比如在二维平面中可以表示为 (y = mx + c)（其中 (m) 是斜率，(c) 是截距）这样的形式，在更高维度空间也有相应的线性表达式来刻画。

2. 常见场景举例

   • 区域划分场景： 在地图上对不同地块进行划分时，可能存在线性边界的情况。例如，在规划一个农业园区，其中两块不同种植作物的区域之间用栅栏隔开，而这个栅栏所在的直线就构成了两块区域之间的线性边界。如果以坐标来表示位置，假设其中一块区域 (A) 在直线 (y = 2x + 1) 的一侧，...

Read more

后验概率（Posterior Probability） 是贝叶斯统计中的一个核心概念，表示在观察到新的数据或证据后，对某个假设或事件概率的更新。以下是其关键内容的详细解释：

1. 定义

后验概率是指在观察到数据 ( D ) 后，假设 ( H ) 成立的概率，记作 ( P(H|D) )。

2. 贝叶斯定理

后验概率通过 贝叶斯定理 计算，将后验概率与先验概率和数据的似然联系起来：

[ P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)} ]

其中： - ( P(H|D) )：后验概率（在观察到数据 ( D ) 后，假设 ( H ) 成立的概率）。 - ( P(...

Read more

1. 定义
2. 你说的可能是“最大似然估计（Maximum Likelihood Estimation，MLE）”。最大似然估计是一种在统计学中广泛使用的参数估计方法。给定一个概率模型（如正态分布、伯努利分布等）和一组观测数据，其目标是找到模型参数的值，使得观测数据出现的概率（即似然函数）最大。

3. 从直观上理解，假设我们有一个包含(n)个独立同分布（i.i.d）样本(x_1,x_2,\cdots,x_n)的数据集，这些样本来自某个概率分布(f(x|\theta))，其中(\theta)是待估计的参数（可以是一个或多个参数）。似然函数(L(\theta|x_1,x_2,\cdots,x_n))定义...

Read more

1. 定义与概念
2. 协方差矩阵（Covariance Matrix）是一个方阵，用于描述多个随机变量之间的协方差关系。对于一个包含(n)个随机变量(X_1,X_2,\cdots,X_n)的随机向量(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T)，其协方差矩阵(\Sigma)的元素(\sigma_{ij})定义为(\sigma_{ij}=Cov(X_i,X_j)=E[(X_i - \mu_i)(X_j - \mu_j)])，其中(E[\cdot])表示数学期望，(\mu_i = E[X_i])和(\mu_j = E[X_j])分别是(X_i)和(X_j)的均值。

3. 从直观上...

Read more

1. 定义

2. 高斯分布（Gaussian Distribution），也称为正态分布（Normal Distribution），是一种非常重要的概率分布。它的概率密度函数（probability density function，PDF）是一个钟形曲线，其数学表达式为： [ f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x - \mu)^2}{2\sigma^2}} ] 其中，(\mu)是均值（mean），它决定了分布的中心位置；(\sigma)是标准差（standard deviation），它决定了分布的宽度或离散程度。(\pi\approx3.1...

Read more

1. 概率的定义
2. 概率是用于衡量某个事件发生可能性大小的数值。它的值介于0和1之间，其中0表示事件完全不可能发生，1表示事件肯定会发生。例如，掷一枚均匀的硬币，正面朝上的概率是0.5，因为在理想情况下，正面和反面出现的机会是均等的。

3. 从数学角度更严格地讲，概率是基于样本空间（Sample Space）定义的。样本空间是一个实验所有可能结果的集合。例如，掷骰子的样本空间是({1,2,3,4,5,6})，而某个事件（如掷出偶数）是样本空间的一个子集（这里是({2,4,6})），这个事件的概率就是该子集元素个数与样本空间元素个数的比值（在这个例子中是(3/6 = 0.5)）。

4. 概率的计算方法...

Read more

1. 定义与概念
2. 先验分布是贝叶斯统计学中的一个关键概念。它代表了在获取新的数据（观测值）之前，我们对未知参数的一种信念或假设的概率分布。简单来说，就是在看到实验数据之前，根据以往的经验、理论知识或者主观判断，对模型参数可能取值的一种概率描述。
3. 例如，在估计一个人群的平均身高时，在还没有实际测量任何人的身高之前，我们可能基于已有的常识（如该人群所属种族的一般身高范围）假设平均身高服从一个正态分布，这个正态分布就是先验分布。其参数（如均值和方差）反映了我们最初的信念强度和不确定性程度。
4. 先验分布的类型
5. 无信息先验（Non - Informative Prior）
   • 这种先验分布尽可能少地包含关于...

Read more

1. 定义

2. 在机器学习和数据挖掘等领域，分类（Classification）是一种监督学习（Supervised Learning）任务。它的目标是根据已知类别标签的训练数据构建一个模型，使得该模型能够对新的、未标记的数据进行类别预测。简单来说，就是将数据划分到不同的类别中。

3. 常见的分类算法

4. 决策树（Decision Tree）
   • 决策树是一种基于树结构的分类方法。它通过对特征进行一系列的测试来划分数据。例如，在一个判断水果是苹果还是橙子的分类问题中，决策树可能首先根据形状特征进行划分，如果形状是圆形，再根据颜色进一步划分。内部节点表示特征测试，分支表示测试的结果，叶节点表示类别。决策...

Read more

正则化（Regularization）是一种在机器学习和统计学中用于防止过拟合的技术，通过向模型引入额外的信息或约束来提高模型在未见数据上的泛化能力。以下是几种常见的正则化方法：

1. L1 正则化（Lasso 回归）

• 在损失函数中加入模型权重的绝对值之和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1}^{n} |w_i| )
• 特点：倾向于将一些权重压缩到零，从而实现特征选择，适合高维数据。

2. L2 正则化（岭回归）

• 在损失函数中加入模型权重的平方和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1...

Read more