LLaMA

LLaMA大模型是Meta公司研发的一系列大语言模型（LLM），主要用于自然语言处理任务。以下是关键信息：

基本信息
– 研发公司：Meta（原Facebook）
– 首次发布：2023年，面向研究人员和学者
– 商用计划：2023年7月宣布推出商用版本，允许企业定制化开发

模型系列
– LLaMA 4：最新版本，包含三个模型：
– Scout（109B参数，支持10M上下文）
– Maverick（400B参数，支持1M上下文）
– Behemoth（未发布，宣称性能超越Gemini）
– 采用ME混合专家架构，支持BF16格式和量化部署

特性
– 超长上下文：Scout支持10M tokens，适合处理完整代码或长文档
– 多模态能力：Llama 4支持图像定位和多模态理解
– 工具链：提供LlamaPromptOptimization和LlamaSyntheticDataKit等开发工具

应用场景
– 企业项目：适合需要定制化模型的场景，如代码分析、文档处理
– 研究与开发：支持本地和云端部署，兼容主流训练框架