Jan

Jan.ai是一款开源的本地AI部署工具，支持在个人设备上离线运行开源大语言模型（如Mistral、Llama等），提供完全私密的对话环境。以下是核心特点：

核心功能
– 离线运行：所有处理在本地完成，无需联网，保障数据隐私 。
– 多平台兼容：支持Windows、Mac、Linux系统 。
– 模型支持：兼容GGUF、TensorRT等格式，可加载主流开源模型（如TinyLlama、Mixtral） 。

使用场景
– 个人使用：本地部署模型，避免数据外泄 。
– 开发测试：通过API调用模型，支持提示词工程优化交互 。

硬件要求
– 性能影响：模型运行速度与硬件（尤其是GPU）性能直接相关，大模型可能需高性能设备 。

安装与配置
– 下载方式：通过官网获取对应系统版本，首次运行需手动下载模型 。
– 模型管理：支持通过JSON配置文件自定义模型参数 。

注意事项
– 国内下载：部分模型需通过HuggingFace等平台手动获取，可能需代理 。
– 资源占用：大模型（如9.23GB）对内存和显存要求较高 。