分类目录归档:基础设施

时间序列预测-确定性过程建模


在时间序列预测中,确定性过程建模是指识别和建模时间序列中那些非随机、可预测、有规律可循的组成部分。这些成分通常由已知的、固定的模式驱动,而不是由随机波动主导。

理解时间序列的典型分解有助于理解确定性过程:

  1. 趋势: 序列长期表现出的上升、下降或水平移动。例如,人口增长、技术普及带来的销量上升。
  2. 季节性: 在固定周期(如一天、一周、一月、一年)内重复出现的模式。例如,每日用电高峰、季节性商品销售、节假日效应。
  3. 周期性: 在非固定周期(通常长于季节性周期)内出现的波动,通常与经济周期相关。其频率和幅度不如季节性稳定。例如,房地产周期、大宗商品价格周期。
  4. 特殊事件/干预: 已知的一次性或短期事...

Read more

时间序列预测模型-列表


以下是常见的时间序列预测模型的分类梳理,以Markdown表格形式呈现:

时间序列预测模型分类表

类别 模型名称 核心描述 适用场景
传统统计模型 AR (自回归模型) 用历史值的线性组合预测未来值 平稳序列,短期预测
MA (移动平均模型) 用历史白噪声的线性组合预测未来 平稳序列,噪声处理
ARMA AR与MA的组合模型 平稳时间序列
ARIMA 加入差分处理的ARMA扩展 非平稳序列(需差分平稳化)
SARIMA 加入季节性差分的ARIMA 具有季节性的非平稳序列
ETS (指数平滑) 加权平均历史观测值(含趋势/季节分量) 趋势和季节性...

Read more

容器内的时间是否会与主机时间自动同步 ?


容器内的时间是否会与主机时间自动同步,取决于容器的运行环境和配置方式。以下是不同容器技术(如Docker、Kubernetes)的常见情况及原理分析:

一、Docker 容器的时间同步机制

1. 默认情况:不自动同步

  • Docker容器默认会继承主机的时间配置(如时区、时间戳),但不会主动与主机时间保持实时同步
  • 原因:容器本质上是隔离的进程环境,时间由容器内的操作系统维护,主机时间变化不会自动传递到容器内。

2. 时间同步的实现方式

  • 挂载主机时区文件
    通过 -v /etc/localtime:/etc/localtime:ro 命令挂载主机时区文件,确保容器时区与主机一致,...

Read more

docker 删除None 镜像


要删除所有标签为 <none> 的 Docker 镜像(悬空镜像),可以使用以下命令:

推荐命令(安全高效):

docker image prune -f

命令详解:

  1. docker image prune:Docker 自带的清理命令,专门用于删除悬空镜像(未被任何容器引用的中间层镜像)。
  2. -f--force:跳过确认提示,直接删除。

备选方案(手动过滤删除):

如果仍需删除所有包含 <none> 标签的镜像(谨慎使用,可能误删依赖项):

docker rmi $(docker images -f "dangling=true"...

Read more

git- 放弃本地的所有修改-退回初始状态


在Git中,若要自动删除本地新增的文件并放弃所有修改,可按以下步骤操作:

  1. 放弃工作区的所有修改 借助git checkout -- .命令,能将工作区里所有文件恢复到和暂存区一样的状态。
git checkout -- .
  1. 删除所有未被追踪的文件和目录 运用git clean -fd命令,可删除那些没有被Git追踪的文件和目录。其中,-f代表强制删除,-d表示同时删除未被追踪的目录。
git clean -fd
  1. 组合命令 你可以把上述两个命令组合起来执行,这样就能一次性完成放弃修改和删除未被追踪文件的操作。
git checkout -- . &am...

Read more

DataWorks-智能大数据开发治理平台-阿里云



一段话总结

DataWorks是一站式智能大数据开发治理平台,提供数据集成、Data+AI一体化开发、数据分析、数据资产治理与智能Copilot服务,具备功能齐全(覆盖数据开发治理全生命周期)、智能易用(Web IDE、全图形化界面、Copilot辅助)、降本增效(云原生全托管)、安全稳定(金融级数据安全)等优势,已广泛应用于政务、金融等众多行业,且在2023年IDC中国大数据平台及数据治理市场份额中均位居第一。


思维导图

## **产品定位**
- 一站式智能大数据开发治理平台
- 适配MaxCompute、EMR等数十种计算服务
## **核心功能**
- 数据集成:支持大模型A...

Read more

docker-run- entrypoint


在 Docker 中替换容器的 ENTRYPOINT 可以通过多种方式实现,以下是详细的解决方案和示例:


🔧 方法 1:docker run 时临时替换(推荐)

使用 --entrypoint 参数覆盖默认入口点:

# 基本语法
docker run --entrypoint="新入口点命令" [其他选项] 镜像名 [参数]

# 示例:将 nginx 容器的入口点改为 /bin/bash
docker run -it --rm --entrypoint="/bin/bash" nginx:alpine

# 示例:使用脚本作为入口点
docke...

Read more

Temporal Fusion Transformer (TFT)-时间序列预测模型-03005-V01


Temporal Fusion Transformer (TFT):时间序列预测的智能指挥官

在时间序列预测领域(如销量预测、股价分析、电力负荷预估),我们常面临复杂挑战:历史数据中混杂着长期趋势、周期性波动、突发事件影响,以及外部变量(如天气、节假日、促销活动)。传统模型如ARIMA、LSTM或标准Transformer,往往难以同时高效捕捉这些不同时间尺度上的信息并理解它们之间的复杂关系,更难以解释预测结果的原因。

Temporal Fusion Transformer (TFT) 正是为解决这些难题而生。它由谷歌研究团队于2019年提出,融合了LSTM和Transformer两大架...

Read more

TSFormer-时间序列预测模型-03006-V01


TSFormer:时间序列预测的Transformer新锐

在当今大数据时代,时间序列预测(如股票走势、天气变化、设备故障预警)至关重要。传统模型如RNN、LSTM常受限于“长期依赖”问题——难以有效捕捉遥远数据点间的关系。而Transformer模型凭借强大的全局建模能力异军突起,TSFormer正是专为时间序列预测优化的Transformer变体,兼顾了高效与精准。

核心思想:化繁为简,聚焦重点

TSFormer的核心在于解决原始Transformer应用于超长序列时的两大痛点:

  1. 计算爆炸: Transformer的自注意力机制需计算序列中每对点之间的关系,序列长度增加时,计算量和...

Read more