Prefect

Prefect 是一个开源的工作流编排引擎，可以方便地将 Python 函数转化为生产级数据管道。

你只需用纯 Python 编写和调度工作流（无需 DSL 或复杂配置文件），在任何能运行 Python 的环境中即可执行。Prefect 会自动为你处理诸如状态追踪、失败处理和实时监控等繁琐工作，让开发更高效轻松。

核心特性

Prefect 允许你直接使用原生 Python 来定义工作流，不需要再额外学习 DSL、YAML 或专有语法。对于已经有 Python 工程基础的团队来说，这意味着可以沿用熟悉的 IDE、调试方式、类型提示与测试体系，开发和维护成本都更低。

Prefect 提供完整的状态管理能力，可以清晰追踪任务和流程的成功、失败、重试等状态。在运行被中断或任务出现异常时，也更容易从合适的位置恢复，减少整条数据链路重复执行带来的时间与资源浪费。

Prefect 的执行环境非常灵活，既可以在本地直接运行用于开发调试，也可以部署到容器、Kubernetes 或云环境中。它不强绑定特定基础设施，适合那些希望在不同环境之间平滑迁移、逐步扩展编排能力的团队。

除了传统的定时调度，Prefect 也支持通过外部事件、API 调用或人工触发来启动流程。对于需要和业务系统联动、引入审批节点，或者根据上游状态动态触发下游任务的场景，这种模式会更加自然。

Prefect 能在运行过程中根据实际输入数据、条件判断或中间结果动态生成任务和分支，而不是在一开始就把整个 DAG 固定死。这使它非常适合处理数据量不确定、分支路径多变、需要按运行时上下文决定执行逻辑的流程。

Prefect 提供了比较现代化的可视化界面，可以直接查看 Flow 的运行状态、日志信息和依赖关系。相比只看命令行输出，这种 UI 能明显降低排障和日常运维的复杂度，尤其适合多人协作和线上环境监控。

Prefect 的工作流本质上仍然是 Python 代码，因此可以像普通应用代码一样进入现有的测试、构建和发布流程。对于重视工程规范、希望把数据工作流纳入 CI/CD 体系统一管理的团队来说，这一点很关键。