Ollama

Ollama是一个开源的轻量级框架，允许用户在本地电脑上部署和运行大型语言模型（LLM），支持多操作系统，提供高效的CPU和GPU优化，确保数据隐私安全。

核心功能
– 本地部署：支持在本地电脑（Windows、Linux等）运行开源大模型，如Llama3、Qwen、DeepSeek等，无需依赖云端服务。
– 模型管理：通过命令行或REST API部署、运行和管理模型，支持模型量化（如Q4_0格式）以降低硬件需求。
– 界面支持：提供网页界面（如Open WebUI）和Python库交互，简化模型调用流程。

适用场景
– 隐私敏感领域（如医疗、法律）：数据本地化处理，符合GDPR等合规要求。
– 企业定制：结合FastGPT等工具构建知识库、AI客服等应用。
– 开发者工具：支持模型微调、RAG（检索增强生成）等高级功能。

安装与配置
– 安装：Windows需下载安装包并默认安装在C盘；Linux可通过Docker部署。
– 模型选择：需根据硬件配置（如显存）选择模型（如DeepSeek-Coder:1.3B适合6G显存）。
– 端口与路径：默认端口11434，模型存储路径默认在C盘，可通过环境变量修改。