支持的模型
Twinkle 支持任何兼容 HuggingFace Transformers 或 Megatron-LM 的模型。以下是经过测试的模型列表。
语言模型
| 模型系列 | 模型 ID | 参数量 | 特性 |
|---|
| Qwen 3.5 | Qwen/Qwen3.5-0.6B ~ Qwen/Qwen3.5-235B-A22B | 0.6B–235B | MoE、思考模式 |
| Qwen 2.5 | Qwen/Qwen2.5-0.5B ~ Qwen/Qwen2.5-72B | 0.5B–72B | Dense |
| DeepSeek V4 | deepseek-ai/DeepSeek-V4 | 685B MoE | 自定义 DSML 编码 |
| DeepSeek R1 | deepseek-ai/DeepSeek-R1 | 685B MoE | 推理 |
| LLaMA 3 | meta-llama/Llama-3.3-70B-Instruct | 8B–70B | Dense |
| Mistral | mistralai/Mistral-7B-v0.3 | 7B | Dense |
| Yi | 01-ai/Yi-1.5-34B | 6B–34B | Dense |
| GLM-4 | THUDM/glm-4-9b-chat | 9B | Dense |
| InternLM 2.5 | internlm/internlm2_5-7b-chat | 7B–20B | Dense |
视觉语言模型
| 模型系列 | 模型 ID | 特性 |
|---|
| Qwen 3.5 VL | Qwen/Qwen3.5-VL-3B ~ Qwen/Qwen3.5-VL-72B | 图片、视频 |
| Qwen 2.5 VL | Qwen/Qwen2.5-VL-7B-Instruct | 图片、视频 |
| InternVL 2.5 | OpenGVLab/InternVL2_5-8B | 图片 |
嵌入模型
| 模型系列 | 模型 ID | 训练方法 |
|---|
| Qwen3 Embedding | Qwen/Qwen3-Embedding-0.6B | InfoNCE 对比学习 |
| GTE | thenlper/gte-large-zh | InfoNCE 对比学习 |
模型加载
from twinkle.model import TransformersModel
# 从 ModelScope 加载（ms:// 前缀）
model = TransformersModel(model_id='ms://Qwen/Qwen3.5-4B')
# 从 HuggingFace 加载（hf:// 前缀）
model = TransformersModel(model_id='hf://meta-llama/Llama-3.3-70B-Instruct')
# 本地路径
model = TransformersModel(model_id='/path/to/model')
框架支持
| 框架 | 类名 | 适用场景 |
|---|
| Transformers | TransformersModel | 通用训练（SFT、RLHF、DPO） |
| Transformers + Multi-LoRA | MultiLoraTransformersModel | 多租户训练 |
| Megatron-LM | MegatronModel | 大规模分布式预训练 |
| Megatron + Multi-LoRA | MultiLoraMegatronModel | 大规模多租户 |
精度支持
| 模式 | 说明 |
|---|
bf16 | BFloat16 混合精度（推荐 A100/H100） |
fp16 | Float16 混合精度（适用于旧 GPU） |
fp8 | FP8 精度（H100 + Transformer Engine） |
no | 全精度（仅用于调试） |
并行策略
| 策略 | 配置键 | 说明 |
|---|
| FSDP | strategy=accelerate | Accelerate 管理的 FSDP（默认） |
| 原生 FSDP | strategy=native_fsdp | PyTorch 原生 FSDP |
| 张量并行 | tp_size | 跨 GPU 切分层 |
| 流水线并行 | pp_size | 切分模型阶段 |
| 数据并行 | dp_size | 复制模型，切分数据 |
| 序列并行 | sequence_parallel | 切分长序列 |
| 专家并行 | ep_size | MoE 专家分布 |
docs