DeepSeek-V4 模板
DeepseekV4Template 为 DeepSeek V4 提供原生支持,包括其独特的思考模式、工具调用协议和多 token 特殊标记。
使用方法
from twinkle.template import DeepseekV4Template
template = DeepseekV4Template(
model_id='deepseek-ai/DeepSeek-V4',
enable_thinking=True,
)
特性
- 自定义 tokenizer 包装:用 DeepSeek V4 的编码协议覆盖
apply_chat_template - 思考模式:支持
thinking/chat模式切换 - 工具调用:原生 DSML 工具调用编码
- 多 token EOS:处理 DeepSeek V4 的多字符特殊标记
与基础模板的区别
| 特性 | 基础模板 | DeepseekV4Template |
|---|---|---|
| Chat 模板 | HuggingFace 原生 | 自定义 DSML 编码 |
| 思考模式 | <think> 标签 | 原生思考模式开关 |
| 工具调用 | Hermes/Qwen 格式 | DSML 工具块 |
| EOS 处理 | 单 token | 多 token 特殊标记 |