LM Studio是一款可在本地设备上运行大语言模型(LLMs)的工具,其官网提供了丰富的产品信息,具体如下: 1. 核心功能
- **模型操作**:支持发现、下载和运行本地LLMs,可运行的架构包括Llama、Mistral、Phi等。能从Hugging Face🤗 仓库下载任何兼容的模型文件 ,并通过应用内聊天界面或OpenAI兼容的本地服务器使用模型。
- **多场景应用**:可在笔记本电脑上完全离线运行LLMs;支持与本地文档进行聊天(0.3版本新增功能)。
- 使用示例:以C++文件系统实现为例,展示了如何与模型交互。系统提示设定为模拟优秀的C++工程师,先制定解决问题的计划...