分类目录归档:观点

【置顶】2025-AICDA-文章一览表


  • 支持向量机-SVM 1
  • 知识蒸馏 1
  • 建模
  • 特征提取
  • 特征工程 1
  • 特征归一化
  • softmax 1
  • 时间序列预测模型 1
  • FinGPT 1
  • FinML
  • ChatGPT
  • LLM
  • GPT 1
  • LSTM
  • Transformer 1
  • 梯度下降 1
  • 特征工程 1
  • 神经网络 1
  • AI原理系列-强化学习 1
  • AI原理系列-无监督学习 1
  • AI原理系列-监督学习 1
  • MoE架构的解析 1
  • GPU 消费级与专业级性价比分析报告
  • 算力集群的自建与租赁方案对比分析报告
  • 训练一个1B的金融大模型需要花多少钱? 1
  • AlphaNet 1
  • 卷积神经网络
  • 循环神经网络
  • Bert
  • AlphaNet
  • Vnp...

Read more

链式法则:微积分中看不见的纽带


链式法则:微积分中看不见的纽带

在微积分的宏伟殿堂中,链式法则宛如一条看不见的纽带,将复杂函数的求导过程分解为优雅而简洁的步骤。这条看似简单的法则,不仅是数学家的精巧创造,更是我们理解变化世界中多层关系的钥匙。当我们追踪空气中污染物的扩散、计算金融市场的复合增长率,甚至训练深度神经网络时,链式法则都在默默发挥着它的魔力。

链式法则解决的核心问题是复合函数的求导方法。所谓复合函数,就像俄罗斯套娃,一个函数嵌套在另一个函数之中。形式上,如果有两个函数y=f(u)和u=g(x),那么它们的复合函数就是y=f(g(x))。链式法则告诉我们,这个复合函数的导数可以表示为:dy/dx = (dy/d...

Read more

数据科学体系架构:从理论基础到工程实践-V03


数据科学体系架构:从理论基础到工程实践

一、数据基础架构与工程实践

现代数据科学建立在规模化数据工程基础之上。数据流水线采用Lambda架构实现批流一体化处理,使用Apache Spark进行分布式ETL处理,通过Apache Kafka构建实时数据流平台。数据质量保障采用系统化方法:使用Great Expectations框架定义数据质量规则,通过Anomaly Detection算法识别数据异常,基于数据血缘分析实现全链路追溯。

在特征工程层面,我们采用自动化特征工程(AutoFE)技术:使用TSFresh进行时序特征自动生成,通过FeatureTools实现深度特征合成。针对高维稀...

Read more

数据科学体系化构建:从底层处理到生产级部署-v02


数据科学体系化构建:从底层处理到生产级部署

数据科学作为一门融合统计学、计算机科学和领域知识的交叉学科,已形成完整的理论体系和技术栈。本文将从专业视角深入剖析数据科学的关键组成部分,着重探讨数据处理与分析、机器学习、图分析、向量搜索、优化算法以及MLOps等核心模块的技术实现与系统集成。

数据工程基础:构建可靠的数据流水线

数据处理是数据科学项目的基石。在实际工业场景中,数据工程师需要构建稳健的ETL(Extract-Transform-Load)流水线来处理多源异构数据。我们采用Apache Spark等分布式计算框架处理海量数据,运用数据质量框架如Great Expectations...

Read more

数据科学全景解析:从数据处理到智能部署-V01


数据科学全景解析:从数据处理到智能部署

在当今数据驱动的时代,数据科学已成为企业获取竞争优势的核心引擎。作为一名数据科学家,我深刻理解这个领域的复杂性和多维性。数据科学不仅是一门学科,更是一个完整的生态系统,涵盖了从数据收集到智能决策的全过程。本文将带您深入探索数据科学的关键组成部分,揭示如何将原始数据转化为可行动的智能。

数据基础:处理与分析的艺术

任何数据科学项目的起点都是数据。数据处理与分析构成了整个数据科学金字塔的基石。在实际工作中,数据往往以混乱、不完整的形式存在。数据清洗和预处理因此成为最关键且最耗时的环节。我们使用各种工具和技术来处理缺失值、异常值和重复数据,确保数据质量。...

Read more

K线形态相似度精确匹配:DTW算法核心解析


K线形态相似度精确匹配:DTW算法核心解析

在金融市场的技术分析领域,K线形态识别是连接历史规律与未来预测的重要桥梁。无论是资深交易员还是量化研究者,都依赖对“头肩顶”“双底”“三角形整理”等经典形态的判断来捕捉交易信号。但市场的复杂性在于:同一形态可能在不同时间尺度下呈现出截然不同的时间跨度——比如有的“双底”用5天完成,有的却用12天;有的“头肩顶”左肩持续3天,右肩却拉伸至7天。传统的形态匹配方法(如固定窗口滑动比对、关键点硬性对齐)因无法处理这种时间轴的伸缩性,常常出现“看似相似却被判定为不匹配”的尴尬情况。

动态时间规整(Dynamic Time Warping, DTW)算法...

Read more

特征编码:机器学习模型理解世界的桥梁


特征编码:机器学习模型理解世界的桥梁

在机器学习项目中,数据往往以各种形态呈现:用户ID、城市名称、产品类别、学历等级、日期时间……这些信息对人类而言含义清晰,但对绝大多数机器学习模型来说却如同天书。模型的核心是数学运算(向量、矩阵、梯度计算),它们只能直接处理数值型数据。这就是特征编码要解决的核心问题:将非数值型(类别型、文本型、时间型等)数据,转化为适合机器学习模型处理的数值型表示,同时尽可能保留或揭示原始数据中蕴含的有价值信息。

以下是特征编码解决的关键问题及其深层意义:

1. 解决数据格式兼容性问题:让模型“能看见”

  • 根本矛盾: 模型(如线性回归、SVM、神经网络、大部分树模型...

Read more

当AI化身金融研究员:一场投资研究的智能革命


当AI化身金融研究员:一场投资研究的智能革命

在金融的世界里,每一个决策都关乎真金白银,容不得半点马虎。而投资研究,更是这场财富博弈中最关键的一环。传统的投资研究,往往需要研究员们耗费大量的时间和精力去收集、整理和分析数据,过程繁琐且效率低下。但现在,随着人工智能技术的飞速发展,一场投资研究的智能革命正在悄然上演。今天,就让我们一起走进这场革命,看看AI是如何化身金融研究员,改变投资研究的格局的。

一、技术架构:智能投资研究的核心逻辑

在这场智能革命的背后,是一套精心设计的技术架构。从相关的技术展示中,我们可以清晰地看到,其核心在于“多智能体协作 + 记忆增强 + 人类反馈 + 数据驱动...

Read more

Embedding 原理概述


Embedding 原理概述

Embedding(嵌入)是机器学习和人工智能领域的核心概念,本质是将高维、离散、稀疏的数据(如文字、图片、音频、用户、商品等)转换为低维、连续、稠密的实数向量表示的过程。这些向量被称为嵌入向量(Embedding Vector),其神奇之处在于能在向量空间中捕获并保留原始数据的语义、关系或特征。

为何需要 Embedding?

  1. 维数灾难与稀疏性: 像“词袋模型”这类方法,每个词用一个维度表示,词典庞大时向量维度极高且极度稀疏(大部分元素为0),计算效率低,难以捕捉语义。
  2. 语义鸿沟: 离散符号本身无法直接表达“相似性”(如“猫”和“狗”都比“汽车”更接近“...

Read more

Agentic AI 如何构建更好的解决方案?


利用智能体人工智能(Agentic AI)与多大型语言模型(LLMs)创建更智能解决方案的解读报告

一、引言

在人工智能技术飞速发展的当下,大型语言模型(Large Language Models,简称LLMs )已成为推动各领域创新的关键力量。而智能体人工智能(Agentic AI)概念的出现,进一步拓展了LLMs的应用边界,为构建更智能、更具协同性的解决方案提供了新路径。本次报告聚焦于“Using Agentic AI to create smarter solutions with multiple LLMs (step - by - step process)”这一主题,通过对相...

Read more