Dagster

Dagster 是一个云原生的调度器，旨在支持整个开发生命周期，提供集成的追溯和可观察性、声明式编程模型，以及一流的可测试性。它是一个现代数据调度平台，帮助团队快速灵活地构建、调度和监控可靠的数据管道。Dagster 作为构建、扩展和观察 AI 和数据管道的统一控制平面，使用户能够自信地工作。它使用户能够对表、文件和机器学习模型等各种数据资产进行建模，从第一天起就提供内置的目录、追溯和成本洞察。该平台自动跟踪、记录和审核每个数据集，以确保数据的完整性、合规性和透明度。Dagster 可以与任何技术栈集成，从 S3 到 Snowflake 再到 PowerBI，并旨在提供卓越的开发者体验，同时为数据领导者提供所需的透明度、控制和洞察。