分类目录归档：工具链

airflow-作业平台

评论
393 views

airflow

Apache Airflow 是一个用于编排、调度和监控工作流的平台。

主要特点：

  1. 工作流编排：
  2. 可以使用 Python 代码定义复杂的工作流，包括任务的依赖关系、执行顺序和触发条件等。
  3. 支持多种任务类型，如 Bash 脚本、Python 函数、SQL 查询等。

  4. 可以轻松地集成各种数据源和工具，实现数据处理、机器学习、ETL 等任务的自动化。

  5. 调度和执行：

  6. 提供强大的调度功能，可以根据时间、事件或外部触发条件来启动工作流。
  7. 支持分布式执行，可以在多个节点上并行执行任务，提高工作流的执行效率。

  8. 提供任务的重试、失败处理和日志记录等功能，确保工作流的可靠性和稳定性...

Read more

rabbitmq

评论
368 views

rabbitmq

RabbitMQ是一种开源的消息中间件系统，它实现了高级消息队列协议（AMQP）标准，提供了可靠的消息传递服务。RabbitMQ主要用于异步处理，分布式部署以及微服务架构等场景。

以下是 RabbitMQ 的一些特点和用途：

可靠性：RabbitMQ 支持多种消息传递模式，包括点对点、发布/订阅等，可以保证消息传递的可靠性和顺序性。

灵活性：RabbitMQ 提供了灵活的路由机制，可以根据消息类型、目的地等进行路由，方便实现不同的业务场景。

异步处理：RabbitMQ 可以将耗时的任务异步处理，从而提高应用程序的性能和响应速度。

分布式部署：RabbitMQ 支持多节点...

Read more