- 支持向量机-SVM 1
- 知识蒸馏 1
- 建模
- 特征提取
- 特征工程 1
- 特征归一化
- softmax 1
- 时间序列预测模型 1
- FinGPT 1
- FinML
- ChatGPT
- LLM
- GPT 1
- LSTM
- Transformer 1
- 梯度下降 1
- 特征工程 1
- 神经网络 1
- AI原理系列-强化学习 1
- AI原理系列-无监督学习 1
- AI原理系列-监督学习 1
- MoE架构的解析 1
- GPU 消费级与专业级性价比分析报告
- 算力集群的自建与租赁方案对比分析报告
- 训练一个1B的金融大模型需要花多少钱? 1
- AlphaNet 1
- 卷积神经网络
- 循环神经网络
- Bert
- AlphaNet
- Vnp...
分类目录归档:观点
链式法则:微积分中看不见的纽带
链式法则:微积分中看不见的纽带
在微积分的宏伟殿堂中,链式法则宛如一条看不见的纽带,将复杂函数的求导过程分解为优雅而简洁的步骤。这条看似简单的法则,不仅是数学家的精巧创造,更是我们理解变化世界中多层关系的钥匙。当我们追踪空气中污染物的扩散、计算金融市场的复合增长率,甚至训练深度神经网络时,链式法则都在默默发挥着它的魔力。
链式法则解决的核心问题是复合函数的求导方法。所谓复合函数,就像俄罗斯套娃,一个函数嵌套在另一个函数之中。形式上,如果有两个函数y=f(u)和u=g(x),那么它们的复合函数就是y=f(g(x))。链式法则告诉我们,这个复合函数的导数可以表示为:dy/dx = (dy/d...
数据科学体系架构:从理论基础到工程实践-V03
数据科学体系架构:从理论基础到工程实践
一、数据基础架构与工程实践
现代数据科学建立在规模化数据工程基础之上。数据流水线采用Lambda架构实现批流一体化处理,使用Apache Spark进行分布式ETL处理,通过Apache Kafka构建实时数据流平台。数据质量保障采用系统化方法:使用Great Expectations框架定义数据质量规则,通过Anomaly Detection算法识别数据异常,基于数据血缘分析实现全链路追溯。
在特征工程层面,我们采用自动化特征工程(AutoFE)技术:使用TSFresh进行时序特征自动生成,通过FeatureTools实现深度特征合成。针对高维稀...
数据科学体系化构建:从底层处理到生产级部署-v02
数据科学体系化构建:从底层处理到生产级部署
数据科学作为一门融合统计学、计算机科学和领域知识的交叉学科,已形成完整的理论体系和技术栈。本文将从专业视角深入剖析数据科学的关键组成部分,着重探讨数据处理与分析、机器学习、图分析、向量搜索、优化算法以及MLOps等核心模块的技术实现与系统集成。
数据工程基础:构建可靠的数据流水线
数据处理是数据科学项目的基石。在实际工业场景中,数据工程师需要构建稳健的ETL(Extract-Transform-Load)流水线来处理多源异构数据。我们采用Apache Spark等分布式计算框架处理海量数据,运用数据质量框架如Great Expectations...
数据科学全景解析:从数据处理到智能部署-V01
数据科学全景解析:从数据处理到智能部署
在当今数据驱动的时代,数据科学已成为企业获取竞争优势的核心引擎。作为一名数据科学家,我深刻理解这个领域的复杂性和多维性。数据科学不仅是一门学科,更是一个完整的生态系统,涵盖了从数据收集到智能决策的全过程。本文将带您深入探索数据科学的关键组成部分,揭示如何将原始数据转化为可行动的智能。
数据基础:处理与分析的艺术
任何数据科学项目的起点都是数据。数据处理与分析构成了整个数据科学金字塔的基石。在实际工作中,数据往往以混乱、不完整的形式存在。数据清洗和预处理因此成为最关键且最耗时的环节。我们使用各种工具和技术来处理缺失值、异常值和重复数据,确保数据质量。...
K线形态相似度精确匹配:DTW算法核心解析
K线形态相似度精确匹配:DTW算法核心解析
在金融市场的技术分析领域,K线形态识别是连接历史规律与未来预测的重要桥梁。无论是资深交易员还是量化研究者,都依赖对“头肩顶”“双底”“三角形整理”等经典形态的判断来捕捉交易信号。但市场的复杂性在于:同一形态可能在不同时间尺度下呈现出截然不同的时间跨度——比如有的“双底”用5天完成,有的却用12天;有的“头肩顶”左肩持续3天,右肩却拉伸至7天。传统的形态匹配方法(如固定窗口滑动比对、关键点硬性对齐)因无法处理这种时间轴的伸缩性,常常出现“看似相似却被判定为不匹配”的尴尬情况。
动态时间规整(Dynamic Time Warping, DTW)算法...
特征编码:机器学习模型理解世界的桥梁
特征编码:机器学习模型理解世界的桥梁
在机器学习项目中,数据往往以各种形态呈现:用户ID、城市名称、产品类别、学历等级、日期时间……这些信息对人类而言含义清晰,但对绝大多数机器学习模型来说却如同天书。模型的核心是数学运算(向量、矩阵、梯度计算),它们只能直接处理数值型数据。这就是特征编码要解决的核心问题:将非数值型(类别型、文本型、时间型等)数据,转化为适合机器学习模型处理的数值型表示,同时尽可能保留或揭示原始数据中蕴含的有价值信息。
以下是特征编码解决的关键问题及其深层意义:
1. 解决数据格式兼容性问题:让模型“能看见”
- 根本矛盾: 模型(如线性回归、SVM、神经网络、大部分树模型...
当AI化身金融研究员:一场投资研究的智能革命
当AI化身金融研究员:一场投资研究的智能革命
在金融的世界里,每一个决策都关乎真金白银,容不得半点马虎。而投资研究,更是这场财富博弈中最关键的一环。传统的投资研究,往往需要研究员们耗费大量的时间和精力去收集、整理和分析数据,过程繁琐且效率低下。但现在,随着人工智能技术的飞速发展,一场投资研究的智能革命正在悄然上演。今天,就让我们一起走进这场革命,看看AI是如何化身金融研究员,改变投资研究的格局的。
一、技术架构:智能投资研究的核心逻辑
在这场智能革命的背后,是一套精心设计的技术架构。从相关的技术展示中,我们可以清晰地看到,其核心在于“多智能体协作 + 记忆增强 + 人类反馈 + 数据驱动...
Embedding 原理概述
Embedding 原理概述
Embedding(嵌入)是机器学习和人工智能领域的核心概念,本质是将高维、离散、稀疏的数据(如文字、图片、音频、用户、商品等)转换为低维、连续、稠密的实数向量表示的过程。这些向量被称为嵌入向量(Embedding Vector),其神奇之处在于能在向量空间中捕获并保留原始数据的语义、关系或特征。
为何需要 Embedding?
- 维数灾难与稀疏性: 像“词袋模型”这类方法,每个词用一个维度表示,词典庞大时向量维度极高且极度稀疏(大部分元素为0),计算效率低,难以捕捉语义。
- 语义鸿沟: 离散符号本身无法直接表达“相似性”(如“猫”和“狗”都比“汽车”更接近“...
Agentic AI 如何构建更好的解决方案?
利用智能体人工智能(Agentic AI)与多大型语言模型(LLMs)创建更智能解决方案的解读报告
一、引言
在人工智能技术飞速发展的当下,大型语言模型(Large Language Models,简称LLMs )已成为推动各领域创新的关键力量。而智能体人工智能(Agentic AI)概念的出现,进一步拓展了LLMs的应用边界,为构建更智能、更具协同性的解决方案提供了新路径。本次报告聚焦于“Using Agentic AI to create smarter solutions with multiple LLMs (step - by - step process)”这一主题,通过对相...