提供者概览

Llama Stack 的目标是构建一个生态系统，让用户可以轻松地为相同的 API 替换不同的实现。这些示例包括：

  • LLM 推理提供者（例如，Ollama、Fireworks、Together、AWS Bedrock、Groq、Cerebras、SambaNova、vLLM 等），

  • 向量数据库（例如，ChromaDB、Weaviate、Qdrant、Milvus、FAISS、PGVector、SQLite-Vec 等），

  • 安全提供者（例如，Meta 的 Llama Guard、AWS Bedrock Guardrails 等）

提供者有两种形式：

  • 远程：提供者作为独立于 Llama Stack 代码库的独立服务运行。Llama Stack 包含少量适配器代码。

  • 内联：提供者在 Llama Stack 代码库内完整指定和实现。它可能只是一个现有库的简单包装器，或者是在 Llama Stack 内的完整实现。

重要的是，Llama Stack 始终努力为每个 API 提供至少一个完全内联的提供者，以便您可以在本地迭代一个功能齐全的环境。

外部提供者

Llama Stack 支持位于主代码库之外的外部提供者。这使您可以独立创建和维护自己的提供者。有关详情，请参阅外部提供者指南。

代理

使用 LLM 运行多步代理工作流程，包括工具使用、内存 (RAG) 等。

DatasetIO

与数据集和数据加载器接口交互。

评估

生成输出（通过推理或代理）并执行评分。

推理

使用 LLM 运行推理。

后训练

微调模型。

安全

在系统（而不仅仅是模型）级别对输出应用安全策略。

评分

评估系统输出。

遥测

从系统中收集遥测数据。

工具运行时

与 ToolGroup 资源相关联。

向量 IO

向量 IO 指的是对向量数据库的操作，例如添加文档、搜索和删除文档。向量 IO 在检索增强生成 (RAG) 中扮演着关键角色，其中向量 IO 和数据库用于存储和检索文档进行检索。

向量 IO 提供者

以下提供者（即数据库）可用于向量 IO：