前馈网络（Feedforward Network）是一种常见的人工神经网络架构。在这种网络中，信息从输入层单向流向输出层，其间无反馈回路，神经元分层排列，信号依次传递。它主要包含输入层接收数据、隐藏层处理特征（可多层）及输出层给出结果。其特点有： - 高效计算：因结构简单，计算复杂度低，数据处理快，适处理大规模数据，如图像识别中快速处理像素数据。 - 易于训练：多采用反向传播算法优化权重，基于误差梯度调整权重以减预测误差，能快速收敛达优性能，像语音识别模型可借此高效学习语音特征与模式关联。 - 功能强大：通过合理设计网络结构与参数，可拟合复杂非线性函数关系，在图像、语音、自然语言处理领域...

Read more

偏态数据分布（Skewed Distribution）是指数据的分布不对称，意味着数据集的分布在某一侧有更多的数据点，而另一侧则相对较少。根据数据分布的偏斜方向，偏态可以分为两种类型：

1. 正偏（右偏）分布（Positively Skewed Distribution）：
2. 数据的右侧尾巴较长，意味着大多数数据点集中在分布的左侧。
3. 均值 > 中位数 > 众数，即均值大于中位数，且中位数大于众数。

4. 例如：收入、房价等数据通常呈正偏分布，因为大多数人或房产的价格较低，但少数人或豪宅的价格极高。

5. 负偏（左偏）分布（Negatively Skewed Distribution）：

   ...

Read more

金融思维链 (Chain of Thought, CoT) 是一种将金融领域复杂问题分解为可解释步骤的方法。它基于大语言模型 (LLM) 的提示工程，模拟人类思维逻辑，使模型在复杂的金融任务中表现出更高的准确性和可解释性。以下是金融思维链的核心特点和应用场景：

核心特点：

1. 逐步推理： 将复杂任务分解为一系列明确的步骤，如收集数据、分析指标、进行假设推导和得出结论。
2. 可解释性： 每一步推理逻辑清晰，使得结果更容易被人类理解和验证。
3. 模块化设计： 可以组合多个工具和数据源，如新闻、财务报表和市场数据。
4. 适用性广： 从市场预测到风险评估，覆盖量化交易、投资决策等领域。

示例流程：

以股...

Read more

1. 定义与原理
2. Chain of Thoughts（CoT）是一种在自然语言处理中用于提升语言模型推理能力的技术。它的核心思想是引导语言模型生成一系列中间推理步骤，而不是直接给出答案。就像是在解决一个数学问题时，不是直接说出答案，而是详细地列出思考过程，如“首先，根据题目条件可以知道这是一个等差数列问题。然后，通过等差数列的通项公式计算出首项和公差……最后，得出答案。”
3. 这种技术通过在输入提示（prompt）中加入示例，展示如何通过中间步骤来解决问题，让语言模型学会模仿这种推理方式。例如，在一个文本分类任务中，提示可以是“对于文本‘这部电影情节跌宕起伏，演员的表演也很出色’，首先分析情感词...

Read more

1. 定义与概念
2. Tree of Thoughts（ToT）是一种用于语言模型的推理框架。它将语言模型的推理过程看作是构建一个树形结构，其中每个节点代表一个思考步骤或者部分推理结果。与传统的语言模型推理方法（如生成式方法，一次生成一个完整的答案）不同，ToT通过系统地探索多个推理路径来提高推理的质量和准确性。
3. 例如，在解决一个复杂的数学文字题或者逻辑谜题时，传统方法可能直接生成一个答案，但ToT会像在树上分支一样，从问题出发，考虑多种可能的解题思路，这些思路就是树的分支。
4. 工作原理
5. 生成多个思考步骤：在ToT中，语言模型首先生成多个可能的初始思考步骤。这些步骤就像是树的第一层分支。以写一篇作...

Read more

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，在自然语言处理（NLP）领域具有极其重要的地位。

1. 模型架构与原理

   • Transformer架构基础：Transformer架构是BERT的核心，它主要由多头注意力机制（Multi - Head Attention）和前馈神经网络（Feed - Forward Neural Network）组成。多头注意力机制允许模型在处理文本时能够同时关注到不同位置的语义信息，而前馈神经网络则对这些信息进行进一步的转换和处理。...

Read more

1. 定义
2. AI蒸馏（Knowledge Distillation）是一种模型压缩技术，主要用于将复杂的大型模型（如深度神经网络）的知识迁移到一个较小的模型中。其目的是在保持或接近原模型性能的同时，减少模型的计算量、存储空间和推理时间，使模型更适合在资源受限的设备上运行，如移动设备、嵌入式设备等。
3. 蒸馏过程
4. 教师模型和学生模型
   • 在知识蒸馏中，通常有一个“教师模型”和一个“学生模型”。教师模型是一个已经训练好的、性能良好的大型复杂模型，它拥有丰富的知识和高精度的预测能力。学生模型则是相对较小、结构简单的模型，目标是学习教师模型的知识。例如，教师模型可能是一个拥有数亿个参数的大型语言模型（LLM...

Read more

1. 定义
2. 在LLM（大型语言模型）中，响应自相似性是指模型在面对不同但相似的输入提示时，生成的响应在结构、内容主题、语义等方面展现出的相似程度。例如，当用户输入多个关于同一历史时期不同事件的问题时，LLM的回答在提及该时期的背景、主要人物等方面可能会有相似的表述，这就是响应自相似性的一种体现。
3. 产生原因
4. 模型训练方式的影响
   • LLM是基于大规模的文本数据进行训练的，在训练过程中，模型学习到了各种文本模式和主题相关的知识。当遇到相似的输入时，它会依赖于已经学习到的这些通用知识和模式来生成响应。例如，在预训练阶段，模型接触了大量关于科学知识的文本，当遇到不同的科学问题时，它会调用这些预先学习到的...

Read more

在语言模型（LLM）领域，“幻觉”是一个重要的概念。

一、定义

LLM的幻觉是指模型生成的内容包含事实错误或不符合实际逻辑，但看起来却像是合理的表述。例如，模型可能会编造不存在的事件、引用错误的统计数据或者给出与已知知识相矛盾的解释。

二、产生原因

• 训练数据问题
  • 数据不准确或过时：如果训练数据包含错误信息，那么模型可能会学习到这些错误并在生成内容时表现出来。比如，在一些过时的文献中存在错误的科学理论，当这些文献作为训练数据时，模型可能会产生基于这些错误理论的内容。
  • 数据偏差：当训练数据存在某种偏向性时，模型也会受到影响。例如，数据集中大部分内容是关于某个特定观点的，模型可能会过度倾向于...

Read more

在机器学习（Machine Learning）中，元数据（Metadata）是非常重要的一个概念。

一、定义和基本概念

元数据本质上是“关于数据的数据”。它提供了有关机器学习中所使用数据的额外信息，这些信息本身不是原始数据的内容，但对于理解、处理和评估数据以及模型训练过程至关重要。例如，对于一个图像数据集，图像本身的像素值是数据，而图像的拍摄日期、拍摄设备、图像所属类别标签等信息就是元数据。

二、元数据的类型

• 数据来源相关元数据
  • 数据源信息：描述数据是从哪里收集的。例如，数据是来自特定的传感器（如气象数据来自气象站的温度、湿度传感器）、特定的网站（如电商平台的用户评论数据）还是其他渠道...

Read more