1. F1 - score的定义与意义
2. F1 - score是精确率（Precision）和召回率（Recall）的调和平均数，用于综合评估分类模型的性能。在分类任务中，精确率和召回率往往存在一种权衡关系，单独使用其中一个指标可能无法全面衡量模型的好坏。F1 - score能够平衡这种权衡，提供一个更全面的评估指标。

3. 其计算公式为(F1 = 2\times\frac{Precision\times Recall}{Precision + Recall})。例如，在信息检索任务中，精确率关注的是检索出的结果中有多少是真正相关的，召回率关注的是所有相关的内容中有多少被检索出来了。F1 - sc...

Read more

1. 定义

2. 在机器学习和数据挖掘等领域，分类（Classification）是一种监督学习（Supervised Learning）任务。它的目标是根据已知类别标签的训练数据构建一个模型，使得该模型能够对新的、未标记的数据进行类别预测。简单来说，就是将数据划分到不同的类别中。

3. 常见的分类算法

4. 决策树（Decision Tree）
   • 决策树是一种基于树结构的分类方法。它通过对特征进行一系列的测试来划分数据。例如，在一个判断水果是苹果还是橙子的分类问题中，决策树可能首先根据形状特征进行划分，如果形状是圆形，再根据颜色进一步划分。内部节点表示特征测试，分支表示测试的结果，叶节点表示类别。决策...

Read more

正则化（Regularization）是一种在机器学习和统计学中用于防止过拟合的技术，通过向模型引入额外的信息或约束来提高模型在未见数据上的泛化能力。以下是几种常见的正则化方法：

1. L1 正则化（Lasso 回归）

• 在损失函数中加入模型权重的绝对值之和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1}^{n} |w_i| )
• 特点：倾向于将一些权重压缩到零，从而实现特征选择，适合高维数据。

2. L2 正则化（岭回归）

• 在损失函数中加入模型权重的平方和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1...

Read more

“Goodness of function”可直译为“函数的优良性”，在数学和相关领域中，它常涉及对函数性质和质量的评估考量。以下展开阐述： - 准确性与精确性：函数准确精确地反映变量关系至关重要。如在物理模型的数学函数表达里，牛顿第二定律公式精准描述力、质量与加速度关系，在实验与工程计算中，依此公式准确计算物体运动状态变化，误差极小，此为函数准确性与精确性佳的体现，是衡量函数优良性关键指标，关乎基于函数模型的可靠性及实际应用成效。 - 效率与复杂度平衡：高效且复杂度适宜的函数备受青睐。在算法设计中，搜索算法函数时间复杂度影响运行效率。二分搜索算法时间复杂度为 $O(log n)$，在大...

Read more

1. 张量的定义与基础概念
2. 张量（Tensor）是一个数学对象，可以看作是向量和矩阵的推广。标量是零阶张量，例如一个单独的数字(5)；向量是一阶张量，如(\vec{v}=(v_1,v_2,v_3))；矩阵是二阶张量，例如(A=\begin{bmatrix}a_{11}&a_{12}\a_{21}&a_{22}\end{bmatrix})。更高阶的张量可以有更多的索引。例如，一个三阶张量(T)可以表示为(T_{ijk})，其中(i)、(j)、(k)是索引，用来定位张量中的元素。
3. 在不同的维度下，张量有着不同的物理或几何意义。在物理学中，应力张量是二阶张量，它描述了物体内部的应力...

Read more

1. 定义与作用
2. 激活函数（Activation Function）是神经网络中的一个关键组件。在神经网络中，神经元接收来自其他神经元的输入信号，这些输入信号经过加权求和后，通过激活函数进行非线性变换，产生神经元的输出。它的主要作用是为神经网络引入非线性因素，使神经网络能够拟合复杂的非线性函数关系。如果没有激活函数，无论神经网络有多少层，其本质上都只是一个线性组合模型，无法有效处理复杂的数据分布和任务。
3. 常见类型
4. Sigmoid函数
   • 公式与图像：Sigmoid函数的数学表达式为(y=\frac{1}{1 + e^{-x}})。其函数图像呈S形，值域在((0,1))之间。当(x)趋近于正无穷时...

Read more

1. 偏微分的定义
2. 对于多元函数(z = f(x_1,x_2,\cdots,x_n))，如果我们只考虑函数对其中一个自变量（例如(x_i)）的变化率，而将其他自变量看作常数，那么这个变化率就是函数(z)关于(x_i)的偏导数，记为(\frac{\partial z}{\partial x_i})或(f_{x_i})。从极限的角度来定义，(\frac{\partial z}{\partial x_i}=\lim_{\Delta x_i\to0}\frac{f(x_1,\cdots,x_i+\Delta x_i,\cdots,x_n)-f(x_1,\cdots,x_i,\cdots,x_n)}{...

Read more

1. 定义
2. 链式法则（Chain Rule）是微积分中的一个重要法则，用于计算复合函数的导数。如果有一个复合函数(y = f(g(x)))，那么它的导数(\frac{dy}{dx}=\frac{df}{dg}\cdot\frac{dg}{dx})。也就是说，复合函数的导数是外层函数对内层函数的导数乘以内层函数对自变量的导数。
3. 例如，设(y=(x^2 + 1)^3)，可以把它看作是(y = f(g(x)))的形式，其中(g(x)=x^2+1)，(f(u)=u^3)（这里(u = g(x))）。首先求(\frac{df}{du}=3u^2)，再求(\frac{dg}{dx}=2x)，然后根据链式...

Read more

Backpropagation即反向传播，是一种在神经网络中用于计算梯度的算法，通常用于训练神经网络以最小化损失函数，以下是对其详细介绍：

基本原理

• 前向传播：输入数据通过神经网络的各层进行正向传播，经过一系列的线性变换和激活函数运算，最终得到输出结果。
• 计算损失：将输出结果与真实标签进行比较，通过损失函数计算出预测误差，即损失值。
• 反向传播：从输出层开始，根据损失函数对输出层的偏导数，以及各层之间的权重和激活函数的导数，依次计算出每一层的梯度。然后根据这些梯度，使用优化算法来更新网络中的权重，以减小损失函数的值。

数学推导

• 链式法则：反向传播算法的核心是链式法则，用于计算复合函数...

Read more

梯度下降（Gradient Descent）是一种用于优化目标函数的迭代算法，广泛应用于机器学习和深度学习中，尤其是在最小化损失函数时。其核心思想是通过计算目标函数的梯度（即导数）来确定参数的更新方向，逐步逼近最优解。

梯度下降的基本原理

1. 目标：最小化目标函数 ( J(\theta) )，其中 ( \theta ) 是模型的参数。
2. 梯度：计算目标函数对参数的梯度 ( \nabla J(\theta) )，梯度方向是函数值上升最快的方向。
3. 更新规则：沿着梯度的反方向更新参数，因为梯度下降的目标是最小化函数值。 [ \theta_{\text{new}} = \theta_{\...

Read more