Torchrun

两种执行模式：torchrun（本地）与 Ray（分布式）

Twinkle 的 infra 模块提供统一的编程模型，无缝支持两种运行模式：local（单机 torchrun）和 ray（多机 Ray 集群）。本文介绍其架构设计、基于装饰器的 API，以及各模式的适用场景。