Contents Menu Expand Light mode Dark mode Auto light/dark, in light mode Auto light/dark, in dark mode Skip to content
data-juicer
data-juicer

帮助文档

  • Operator Schemas 算子提要
  • 数据菜谱Gallery
  • 数据集配置指南
  • “坏”数据展览
  • 动机
  • 路线图
  • 启动服务
  • API调用
  • 演示
  • 开发者指南
  • Data-Juicer 分布式数据处理
  • User Guide
  • Developer Guide
  • 用户指南
  • 开发者指南
  • Awesome Data-Model Co-Development of MLLMs
  • News
  • Contribution to This Survey
  • References
  • "Section - Mentioned Papers" Retrieval List

demos

  • 演示
  • 自动化评测：HELM 评测及可视化
  • 为LLM构造角色扮演的system prompt

工具

  • 分布式模糊去重工具
  • Auto Evaluation Toolkit
  • GPT EVAL：使用 OpenAI API 评测大模型
  • Evaluation Results Recorder
  • 格式转换工具
  • 多模态工具
  • 后微调工具
  • 数据菜谱的自动化超参优化
  • Label Studio Service Utility
  • 视频生成测评工具
  • Postprocess tools
  • 预处理工具
  • 数据打分能力
  • 复现GPT3的质量分类器套件

第三方

  • 大语言模型生态
  • 第三方模型库

API Reference

  • API Reference
    • data_juicer.core package
      • data_juicer.core.data package
      • data_juicer.core.executor package
    • data_juicer.ops package
      • data_juicer.ops.aggregator package
      • data_juicer.ops.common package
      • data_juicer.ops.deduplicator package
      • data_juicer.ops.filter package
      • data_juicer.ops.grouper package
      • data_juicer.ops.mapper package
        • data_juicer.ops.mapper.annotation package
      • data_juicer.ops.selector package
    • data_juicer.ops.filter package
    • data_juicer.ops.mapper package
      • data_juicer.ops.mapper.annotation package
    • data_juicer.ops.deduplicator package
    • data_juicer.ops.selector package
    • data_juicer.ops.common package
    • data_juicer.analysis package
    • data_juicer.config package
    • data_juicer.format package
zh-CN|v1.3.3
Language
English 简体中文
Version
v1.3.3 main
Back to top
Copyright © 2024, Data-Juicer Team
Made with Sphinx and @pradyunsg's Furo