分类目录归档:基础设施

Airflow-Provider-自研课程-0101004


在Apache Airflow中,Provider是用于扩展Airflow功能的插件包。它们包含与特定服务或系统交互所需的操作符(Operators)、钩子(Hooks)、传感器(Sensors)等组件。通过安装和使用这些Provider包,您可以方便地在工作流中集成各种外部服务,如数据库、云平台、消息队列等。

例如,如果您需要在Airflow中连接并操作MySQL数据库,您可以安装与MySQL相关的Provider包。该包提供了连接MySQL所需的钩子和操作符,使您能够在工作流中执行数据库操作。

需要注意的是,不同的数据库或服务需要安装对应的Provider包,以确保Airflow...

Read more

查看 Airflow 中 DAG 运行的详细日志-自研课程-0101002


要查看 Apache Airflow 中 DAG 运行的详细日志,您可以通过以下几种方式进行:

  1. 通过 Airflow Web 界面查看任务日志:

  2. 打开 Airflow Web 界面(默认地址为 http://localhost:8080)。

  3. 在“DAGs”视图中,找到并点击您感兴趣的 DAG。
  4. 在 DAG 的“树状图”或“图形”视图中,点击特定任务实例。
  5. 在弹出的窗口中,切换到“日志”标签页,即可查看该任务的详细运行日志。

  6. 直接访问日志文件:

Airflow 将任务日志保存在本地文件系统中,默认路径为 AIRFLOW_HOME/logs。您可以直接访问这些日...

Read more

Airflow 中编写第一个 DAG-自研课程-0101001


要在 Apache Airflow 中编写第一个 DAG(有向无环图),您可以按照以下步骤进行:

  1. 创建 DAG 文件:在 Airflow 的 dags 目录下创建一个 Python 文件,例如 hello_world_dag.py。如果 dags 目录尚不存在,请先创建该目录。

  2. 导入必要的模块:在 DAG 文件中,导入 DAG 类和所需的操作符(Operator),例如 PythonOperatorBashOperator,以及日期时间模块。

python from airflow import DAG from airflow.operators.p...

Read more

配置报价器-阿里云-502


阿里云的配置报价器可以帮助你根据所需的云产品和服务配置生成相应的价格。你可以根据自己的需求选择不同的资源类型、配置、地域等,系统会自动生成一个价格估算。

  1. 选择产品和服务
  2. 选择你需要的阿里云产品(例如:ECS实例、RDS数据库、OSS存储、负载均衡等)。
  3. 每个产品可以根据需要选择不同的规格和配置(比如CPU、内存、存储空间等)。

  4. 选择地域和可用区

  5. 根据你的业务需求选择适当的地域和可用区,阿里云的服务在不同的区域定价也有所不同。

  6. 选择计费方式

  7. 阿里云有按量付费、包年包月等计费模式,选择适合你需求的模式。
  8. 可以根据预计使用时长选择是否购买预付费包年包月的服务。

  9. 添...

Read more

aws-marketplace-云资源中心-公有云-501


AWS Marketplace 是一个精心策划的数字目录,客户可以在其中查找、购买、部署和管理第三方软件、数据和服务,以构建解决方案和运营业务。 citeturn0search0

主要功能包括:

  • 广泛的软件选择:提供来自安全、商业应用程序、机器学习、数据产品等多个领域的数千种软件。

  • 多样的交付方式:支持 Amazon Machine Images (AMIs)、软件即服务 (SaaS) 等多种格式的软件解决方案。

  • 灵活的定价选项:提供免费试用、按小时、按月、按年、多年和自带许可模式 (BYOL) 等多种定价方式。

  • 简化的采购流程:通过标准化合同和灵活的付款方...

Read more

docker-容器拥有和宿主机同网段IP-macvlan


要让 Docker 容器拥有和宿主机同网段的 IP,通常可以使用 macvlan 网络驱动来实现。macvlan 允许你为容器分配直接连接到物理网络的 MAC 地址和 IP 地址,从而让容器像是网络中的独立设备一样。以下是具体步骤:

1. 创建 macvlan 网络

首先,你需要确定宿主机的网络接口名称,例如 eth0。然后使用以下命令创建一个 macvlan 网络:

docker network create -d macvlan \
  --subnet=192.168.1.0/24 \
  --gateway=192.168.1.1 \
  -o parent=eth0 \
  m...

Read more

Docker-桥接网络模式-


在 Docker 中使用桥接网络模式并让容器拥有独立 IP 可以按以下步骤操作:

1. 创建自定义桥接网络

可以使用 docker network create 命令创建自定义的桥接网络,示例如下:

docker network create --driver bridge --subnet 172.18.0.0/16 my_bridge_network

在上述命令里: - --driver bridge:指定使用桥接网络驱动。 - --subnet 172.18.0.0/16:设定自定义网络的子网范围。 - my_bridge_network:为自定义网络命名。

2. 运行容器并指...

Read more

残差连接-CNN


残差连接(Residual Connection),又称跳跃连接(Skip Connection),是深度学习中的一种关键结构,由ResNet(Residual Network)首次提出,旨在解决深层网络训练中的梯度消失/爆炸和网络退化问题。以下是关于残差连接的全面解析:


1. 残差连接的背景与意义

  • 核心问题:传统深层网络随着层数增加,训练难度增大,表现为:
  • 梯度消失/爆炸:反向传播时梯度逐层衰减或激增。
  • 网络退化(Degradation):更深网络的训练误差反而高于浅层网络,并非由过拟合引起。
  • 解决方案:残差学习通过引入跨层直连路径,使网络更容易学习恒等映射(Identity Ma...

Read more