两种执行模式:torchrun(本地)与 Ray(分布式)
Twinkle 的 infra 模块提供统一的编程模型,无缝支持两种运行模式:local(单机 torchrun)和 ray(多机 Ray 集群)。本文介绍其架构设计、基于装饰器的 API,以及各模式的适用场景。
•
1 分钟阅读时长
Twinkle 的 infra 模块提供统一的编程模型,无缝支持两种运行模式:local(单机 torchrun)和 ray(多机 Ray 集群)。本文介绍其架构设计、基于装饰器的 API,以及各模式的适用场景。