Skip to content

📌 SakuraLLM Roadmap #42

@sakura-umi

Description

@sakura-umi

模型训练

  • 发布v0.9模型
  • Qwen2.5-1.0版本模型(14B,7B,1.5B)
    • prompt内字典
    • 提高指令遵循能力
    • 提高上下文能力
    • 继续增加领域内数据
  • Qwen3-1.1版本模型(14B, 8B, 4B, 1.7B, 0.6B, 30A3B, etc.)
    • 大幅增加领域内的PT数据
    • 大幅增加领域内的SFT数据
    • 大幅增加领域内的RL数据
    • 通过GRPO改善模型能力
  • 中日韩任意双向互译模型

模型量化

  • 发布imatrix量化模型
  • 发布其他量化模型

模型评估

  • 人工问卷形式评估各量化模型性能

Sakura API (不再支持,仅作测试用)

  • dev_server分支合并到主分支,并将api格式改为openai like api格式。
  • 支持多种后端至v0.9
    • llama.cpp server
    • llama-cpp-python
    • autogptq
    • vllm(同时支持gptq与awq模型)
  • 适配翻译工具
    • LunaTranslator(新API)
    • GalTransl
    • BallonsTranslator
  • 提供Python部署一键包
  • 支持多线程
  • 支持Batch Inference(llama.cpp已支持)
  • 支持输出logits

Metadata

Metadata

Assignees

Labels

enhancementNew feature or requestmodelThis issue is about Sakura modelserverThis issue is about Sakura Server API

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions