模型开发
基础模型
- 数据体系
- 数据集/语料
- 标注系统
-
管线系统
-
模型体系
- 深度
- 参数
- 模态
-
Token
-
集群体系
- 多卡并行
- RDMA带宽
-
基于以太网/HPC的通讯调度
-
训练体系
- 指令调试
-
正则化/Epoch优化等
-
对齐体系
- 自然语言
- 代码
-
价值观/安全
-
评估体系
- 系统化的工程体系
- 性能
- 成本
-
多维度优化
-
垂直/领域模型
-
基于已有大模型
- 知识蒸馏
- 微调或提示
- PEFT
-
领域数据集
- 语言学知识/知识图谱
-
API工具和服务
-
多模态/扩散模型
- 数据系统
- 标注数据集
- 模型系统
- 可扩展Transformer
- U-Net等结构优化
-
采样/推理优化
-
工程系统
-
编译/硬件优化
-
轻模型(局部可运行的) 模型
- 知识蒸馏
- 量化优化： FP32
- 结构优化
- 内存优化
开源模型/数据集
- 编码器
- 解码器
- 活跃模型系统
- 重要数据集/系统
应用开发
工具箱工具链
基础开发能力
- 代码框架
- 基础服务
- 工作流
- 代理
- 编制
- 整合
- 提示
- 调试
- 记忆
扩展开发能力（自然语言）
- 抽象层次
- 知识结构
- 推理机制
- 规划能力
- 执行框架
开发对象& 资源
运行时
- 后端
云和服务