分类目录归档：人工智能
一、权重衰退的定义
权重衰退（Weight Decay）是一种在机器学习，特别是神经网络训练过程中经常使用的正则化方法。其主要目的是防止模型过拟合。
在神经网络中，模型的参数（也就是权重）会在训练过程中根据损失函数的梯度不断更新。而权重衰退会在每次更新权重时，给权重一个额外的衰减力，让权重的值不会变得过大。简单来说，它在损失函数中添加了一个惩罚项，这个惩罚项与权重的大小有关。
从数学角度看，假设原始的损失函数是 $L(\theta)$，其中 $\theta$ 代表模型的所有参数（权重）。加入权重衰退后的损失函数可以写成：$L(\theta)+\frac{\lambda}{2}\sum_{...
模型剪枝（Model Pruning）是一种用于减少机器学习模型复杂度的技术。它的核心思想是去除模型中对最终性能贡献较小或者冗余的部分，如神经网络中的神经元、连接或者决策树中的某些分支等，同时尽量保持模型的性能不变。就像是修剪树木一样，把不必要的枝叶剪掉，让树木（模型）更加精简高效。
目的和重要性
定义与概念
提取过程
定义与概念
工作原理
独热编码（One - Hot Encoding），也称为一位有效编码，是一种数据编码方式。它主要用于将分类变量转换为机器学习算法能够理解的数值形式。对于一个具有(n)个不同类别（或状态）的分类变量，独热编码会创建一个长度为(n)的向量来表示该变量的每个类别。在这个向量中，只有一个元素为(1)，其余元素都为(0)，其中为(1)的元素位置对应于该类别在所有类别中的索引。
工作原理与示例
自注意力机制（Self - Attention Mechanism）是一种在深度学习中用于处理序列数据（如自然语言处理中的句子、时间序列数据等）的机制。它能够计算序列中每个元素与其他元素之间的关联程度，从而使得模型在处理数据时可以根据这种关联来动态地调整每个元素的权重，以更好地理解序列的整体结构和语义信息。
工作原理
以自然语言处理为例：