1. 定义
2. Sigmoid函数，也称为逻辑函数（Logistic Function），其数学表达式为(y = \frac{1}{1 + e^{-x}})，其中(e)是自然常数（约为(2.71828)），(x)是自变量。

3. 这个函数的定义域是((-\infty,+\infty))，值域是((0,1))。例如，当(x = 0)时，(y=\frac{1}{1 + e^{0}}=\frac{1}{2})；当(x\to+\infty)时，(y\to1)；当(x\to-\infty)时，(y\to0)。

4. 函数性质

5. 单调性：Sigmoid函数是单调递增函数。这意味着当(x)的值增加时，(y)的值也会...

Read more

1. 定义
2. 函数集（Function Set）是指一组具有某种共同性质或用于特定目的的函数的集合。这些函数可以是数学函数、编程语言中的函数或者机器学习模型中的函数族。

3. 例如，在数学中，所有的多项式函数构成一个函数集。一个(n)次多项式函数的一般形式为(y = a_0 + a_1x + a_2x^2+\cdots+a_nx^n)，其中(a_0,a_1,\cdots,a_n)是系数，所有这样的多项式函数（无论(n)取何值，系数如何取值）组成了多项式函数集。

4. 分类

5. 按函数类型分类
   • 线性函数集：包括所有形如(y = mx + b)的函数，其中(m)是斜率，(b)是截距。例如(y = 2x +...

Read more

1. 定义
2. 伯努利分布（Bernoulli Distribution）是一种离散型概率分布，它用于描述只有两种可能结果的随机试验。这两种结果通常被标记为(0)和(1)，例如成功（(1)）和失败（(0)）。

3. 设(X)是服从伯努利分布的随机变量，(p)表示一次试验中结果为(1)（成功）的概率，那么(X)的概率质量函数（PMF）为(P(X = k)=p^{k}(1 - p)^{1 - k})，其中(k = 0,1)。

4. 示例

5. 抛硬币是典型的伯努利分布例子。设正面朝上为成功（(X = 1)），反面朝上为失败（(X = 0)）。如果硬币是公平的，那么正面朝上的概率(p=\frac{1}{2})。...

Read more

1. 含义解释 当说“the boundary is linear”时，意思是边界呈现线性的形态。从几何角度来讲，线性边界通常可以用直线方程来描述，比如在二维平面中可以表示为 (y = mx + c)（其中 (m) 是斜率，(c) 是截距）这样的形式，在更高维度空间也有相应的线性表达式来刻画。

2. 常见场景举例

   • 区域划分场景： 在地图上对不同地块进行划分时，可能存在线性边界的情况。例如，在规划一个农业园区，其中两块不同种植作物的区域之间用栅栏隔开，而这个栅栏所在的直线就构成了两块区域之间的线性边界。如果以坐标来表示位置，假设其中一块区域 (A) 在直线 (y = 2x + 1) 的一侧，...

Read more

后验概率（Posterior Probability） 是贝叶斯统计中的一个核心概念，表示在观察到新的数据或证据后，对某个假设或事件概率的更新。以下是其关键内容的详细解释：

1. 定义

后验概率是指在观察到数据 ( D ) 后，假设 ( H ) 成立的概率，记作 ( P(H|D) )。

2. 贝叶斯定理

后验概率通过 贝叶斯定理 计算，将后验概率与先验概率和数据的似然联系起来：

[ P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)} ]

其中： - ( P(H|D) )：后验概率（在观察到数据 ( D ) 后，假设 ( H ) 成立的概率）。 - ( P(...

Read more

1. 定义
2. 你说的可能是“最大似然估计（Maximum Likelihood Estimation，MLE）”。最大似然估计是一种在统计学中广泛使用的参数估计方法。给定一个概率模型（如正态分布、伯努利分布等）和一组观测数据，其目标是找到模型参数的值，使得观测数据出现的概率（即似然函数）最大。

3. 从直观上理解，假设我们有一个包含(n)个独立同分布（i.i.d）样本(x_1,x_2,\cdots,x_n)的数据集，这些样本来自某个概率分布(f(x|\theta))，其中(\theta)是待估计的参数（可以是一个或多个参数）。似然函数(L(\theta|x_1,x_2,\cdots,x_n))定义...

Read more

1. 定义与概念
2. 协方差矩阵（Covariance Matrix）是一个方阵，用于描述多个随机变量之间的协方差关系。对于一个包含(n)个随机变量(X_1,X_2,\cdots,X_n)的随机向量(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T)，其协方差矩阵(\Sigma)的元素(\sigma_{ij})定义为(\sigma_{ij}=Cov(X_i,X_j)=E[(X_i - \mu_i)(X_j - \mu_j)])，其中(E[\cdot])表示数学期望，(\mu_i = E[X_i])和(\mu_j = E[X_j])分别是(X_i)和(X_j)的均值。

3. 从直观上...

Read more

1. 定义

2. 高斯分布（Gaussian Distribution），也称为正态分布（Normal Distribution），是一种非常重要的概率分布。它的概率密度函数（probability density function，PDF）是一个钟形曲线，其数学表达式为： [ f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x - \mu)^2}{2\sigma^2}} ] 其中，(\mu)是均值（mean），它决定了分布的中心位置；(\sigma)是标准差（standard deviation），它决定了分布的宽度或离散程度。(\pi\approx3.1...

Read more

1. 概率的定义
2. 概率是用于衡量某个事件发生可能性大小的数值。它的值介于0和1之间，其中0表示事件完全不可能发生，1表示事件肯定会发生。例如，掷一枚均匀的硬币，正面朝上的概率是0.5，因为在理想情况下，正面和反面出现的机会是均等的。

3. 从数学角度更严格地讲，概率是基于样本空间（Sample Space）定义的。样本空间是一个实验所有可能结果的集合。例如，掷骰子的样本空间是({1,2,3,4,5,6})，而某个事件（如掷出偶数）是样本空间的一个子集（这里是({2,4,6})），这个事件的概率就是该子集元素个数与样本空间元素个数的比值（在这个例子中是(3/6 = 0.5)）。

4. 概率的计算方法...

Read more

1. 定义与概念
2. 先验分布是贝叶斯统计学中的一个关键概念。它代表了在获取新的数据（观测值）之前，我们对未知参数的一种信念或假设的概率分布。简单来说，就是在看到实验数据之前，根据以往的经验、理论知识或者主观判断，对模型参数可能取值的一种概率描述。
3. 例如，在估计一个人群的平均身高时，在还没有实际测量任何人的身高之前，我们可能基于已有的常识（如该人群所属种族的一般身高范围）假设平均身高服从一个正态分布，这个正态分布就是先验分布。其参数（如均值和方差）反映了我们最初的信念强度和不确定性程度。
4. 先验分布的类型
5. 无信息先验（Non - Informative Prior）
   • 这种先验分布尽可能少地包含关于...

Read more