llama-stack
  • Llama Stack
  • 快速入门
    • 步骤 1: 安装与设置
    • 步骤 2: 运行 Llama Stack 服务器
    • 步骤 3: 运行演示
    • 下一步
  • 详细教程
    • 步骤 1: 安装与设置
    • 步骤 2: 运行 Llama Stack
    • 步骤 3: 运行客户端 CLI
    • 步骤 4: 运行演示
  • 为什么选择 Llama Stack?
    • 我们的解决方案:通用栈
    • 我们的理念
  • 核心概念
    • 评估概念
      • 评估概念
      • 开放基准评估
        • Llama Stack 支持的开放基准列表
        • 通过 CLI 在开放基准上运行评估
      • 接下来做什么?
    • API
    • API 提供者
    • 资源
    • 分发
  • 提供者概述
    • 外部提供者
    • 代理
    • 数据集IO
    • 评估
    • 推理
    • 后训练
    • 安全
    • 评分
    • 遥测
    • 工具运行时
    • 向量IO
      • 向量IO 提供者
        • 外部提供者
        • Faiss
        • SQLite-Vec
        • Chroma
        • Postgres PGVector
        • Qdrant
        • Milvus
        • Weaviate
  • 分发概述
    • 将 Llama Stack 作为库使用
      • 在不使用服务器的情况下设置 Llama Stack
    • 配置“栈”
      • 提供者
      • 资源
      • 服务器配置
        • 认证配置
      • 扩展以处理安全
    • 可用的分发列表
      • 选择分发 / 模板
        • 分发详情
        • 设备上分发
    • Kubernetes 部署指南
      • 前提条件
      • 在 Kubernetes 中部署 Llama Stack 服务器
      • 验证部署
    • 构建自己的分发
      • 设置日志级别
      • Llama Stack 构建
      • 运行你的栈服务器
      • 故障排除
  • 构建 AI 应用(示例)
    • 检索增强生成 (RAG)
      • 设置向量数据库
      • 摄取文档
      • 检索
      • 使用 RAG 工具
      • 构建 RAG 增强代理
      • 注销向量数据库
      • 附录
        • 更多 RAGDocument 示例
    • 代理
      • 核心概念
        • 1. 代理配置
        • 2. 会话
        • 3. 回合
        • 非流式
        • 4. 步骤
      • 代理执行循环
    • 代理执行循环
      • 代理工作流程中的步骤
      • 代理执行循环示例
    • 工具
      • 工具组提供者类型
        • 内置提供者
      • 模型上下文协议 (MCP) 工具
      • 添加自定义工具
      • 工具调用
      • 列出可用工具
      • 简单示例 2: 将代理与 Web 搜索工具一起使用
      • 简单示例 3: 将代理与 WolframAlpha 工具一起使用
    • 评估
      • 应用评估
        • 构建搜索代理
        • 查询代理执行步骤
        • 评估代理响应
    • 遥测
      • 事件
      • Span 和 Trace
      • 接收器
      • 提供者
        • 元参考提供者
        • 配置
      • Jaeger 可视化 Trace
      • 查询存储在 SQLite 中的 Trace
    • 安全护栏
  • Llama Stack 游乐场
    • 主要功能
      • 游乐场
        • 聊天机器人
        • 评估
        • 检查
    • 启动 Llama Stack 游乐场
  • 贡献给 Llama-Stack
    • 讨论 -> 问题 -> 拉取请求
    • 贡献者许可协议 (“CLA”)
    • 问题
    • 设置开发环境
    • Pre-commit 钩子
    • 运行测试
    • 向项目添加新的依赖
    • 代码风格
    • 常见任务
      • 使用 llama stack build
      • 更新提供者配置
      • 构建文档
      • 更新 API 文档
    • 许可证
      • 添加新的 API 提供者
        • 测试提供者
        • 提交你的 PR
  • 参考资料
    • API 参考
    • Python SDK 参考
      • 共享类型
      • 工具组
      • 工具
      • 工具运行时
        • RagTool
      • 代理
        • 会话
        • 步骤
        • 回合
      • 批量推理
      • 数据集
      • 评估
        • 作业
      • 检查
      • 推理
      • 向量IO
      • 向量数据库
      • 模型
      • 后训练
        • 作业
      • 提供者
      • 路由
      • 安全
      • 防护
      • 合成数据生成
      • 遥测
      • 数据集IO
      • 评分
      • 评分函数
      • 基准
    • llama (服务器端) CLI 参考
      • 安装
      • llama 子命令
        • 示例用法
      • 下载模型
        • 从 Meta 下载
        • 从 Hugging Face 下载
      • 列出已下载的模型
      • 理解模型
        • 示例用法
        • 描述
        • Prompt 格式
        • 移除模型
    • llama (客户端) CLI 参考
      • 基本命令
        • llama-stack-client
        • llama-stack-client configure
        • llama-stack-client providers list
      • 模型管理
        • llama-stack-client models list
        • llama-stack-client models get
        • llama-stack-client models register
        • llama-stack-client models update
        • llama-stack-client models delete
      • 向量数据库管理
        • llama-stack-client vector_dbs list
        • llama-stack-client vector_dbs register
        • llama-stack-client vector_dbs unregister
      • 防护管理
        • llama-stack-client shields list
        • llama-stack-client shields register
      • 评估任务管理
        • llama-stack-client benchmarks list
        • llama-stack-client benchmarks register
      • 评估执行
        • llama-stack-client eval run-benchmark
        • llama-stack-client eval run-scoring
      • 工具组管理
        • llama-stack-client toolgroups list
        • llama-stack-client toolgroups get
        • llama-stack-client toolgroups register
        • llama-stack-client toolgroups unregister
    • 下载模型
      • 安装
      • 通过 CLI 下载模型
        • 从 Meta 下载
        • 从 Hugging Face 下载
      • 列出已下载的模型
    • 评估
      • 评估概念
      • 评估示例演练
        • 1. 开放基准模型评估
        • 2. 代理式评估
        • 3. 代理式应用数据集评分
      • 通过 CLI 运行评估
        • 基准评估 CLI
        • 应用评估 CLI
        • 定义 BenchmarkConfig
      • 开放基准贡献指南
        • 为你的新基准创建新数据集
        • 为你的新基准寻找评分函数
        • 将新基准添加到模板
        • 测试新基准
llama-stack
  • 分发概述
  • 查看页面源

分发概述

分发是一组预先打包的 Llama Stack 组件,可以一起部署。

本节提供了 Llama Stack 中可用分发的概述。

  • 将 Llama Stack 作为库使用
    • 在不使用服务器的情况下设置 Llama Stack
  • 配置“栈”
    • 提供者
    • 资源
    • 服务器配置
      • 认证配置
    • 扩展以处理安全
  • 可用的分发列表
    • 选择分发 / 模板
      • 分发详情
      • 设备上分发
  • Kubernetes 部署指南
    • 前提条件
    • 在 Kubernetes 中部署 Llama Stack 服务器
    • 验证部署
  • 构建自己的分发
    • 设置日志级别
    • Llama Stack 构建
    • 运行你的栈服务器
    • 故障排除
上一个 下一个

© Copyright 2025, Meta.

使用 Sphinx 构建,使用由 Read the Docs 提供的 主题。