查看 Airflow 中 DAG 运行的详细日志-自研课程-0101002

评论
20 views

要查看 Apache Airflow 中 DAG 运行的详细日志，您可以通过以下几种方式进行：

  1. 通过 Airflow Web 界面查看任务日志：

  2. 打开 Airflow Web 界面（默认地址为 http://localhost:8080）。

  3. 在“DAGs”视图中，找到并点击您感兴趣的 DAG。
  4. 在 DAG 的“树状图”或“图形”视图中，点击特定任务实例。

  5. 在弹出的窗口中，切换到“日志”标签页，即可查看该任务的详细运行日志。

  6. 直接访问日志文件：

Airflow 将任务日志保存在本地文件系统中，默认路径为 AIRFLOW_HOME/logs。您可以直接访问这些日志文件：

  • 导航到 AIRFLOW_HOME/logs 目录。
  • 根据 DAG ID、任务 ID 和执行日期，找到对应的日志文件。例如，路径可能类似于 logs/{dag_id}/{task_id}/{execution_date}/1.log。

  • 使用文本编辑器打开日志文件，查看详细内容。

  • 配置并查看远程日志（如果已启用）：

如果您配置了 Airflow 使用远程日志存储（如 AWS S3、Google Cloud Storage 等），您可以通过相应的云服务控制台查看日志：

  • AWS CloudWatch：

    • 登录 AWS 管理控制台。
    • 导航到 CloudWatch 服务。
    • 在“日志组”中，找到与您的 Airflow 环境对应的日志组，例如 Airflow-Task。
    • 选择日志流，查看详细日志信息。
    • citeturn0search2

  • Google Cloud Logging：

    • 登录 Google Cloud 控制台。
    • 导航到“日志”部分。
    • 在日志浏览器中，选择与您的 Airflow 环境对应的日志。
    • 查看并过滤日志条目，以找到特定任务的日志。
    • citeturn0search0

注意事项：

  • 日志级别设置： 确保在 Airflow 配置文件（airflow.cfg）中设置了适当的日志级别，以捕获所需的日志详细信息。

  • 权限设置： 访问日志文件或远程日志存储可能需要适当的权限，请确保您的用户账户具有查看日志的权限。

  • 日志存储位置： 如果您使用的是托管的 Airflow 服务（如 Google Cloud Composer、Amazon MWAA 等），日志存储和访问方式可能有所不同，请参考相应的服务文档获取详细信息。

通过上述方法，您可以方便地查看 Airflow 中 DAG 运行的详细日志，以便进行故障排除和性能监控。