Llama Stack Playground

注意

Llama Stack Playground 目前处于实验阶段，可能会发生变化。我们欢迎反馈和贡献以帮助改进它。

Llama Stack Playground 是一个简单的界面，旨在

  • 在交互环境中展示 Llama Stack 的**能力**和**概念**

  • 演示**端到端**应用代码，帮助用户快速构建自己的应用

  • 提供一个 **UI**，帮助用户检查和理解 Llama Stack API 提供者和资源

主要功能

Playground

交互页面，供用户试用和探索 Llama Stack API 的功能。

聊天机器人

  • **聊天**：与 Llama 模型聊天。

    • 此页面是一个简单的聊天机器人，允许您与 Llama 模型聊天。在底层，它使用 /inference/chat-completion 流式 API 向模型发送消息并接收响应。

  • **RAG**：上传文档到 memory_banks 并与 RAG 代理聊天

    • 此页面允许您将文档上传为 memory_bank，然后与 RAG 代理聊天以查询有关上传文档的信息。

    • 在底层，它使用 Llama Stack 的 /agents API 定义和创建一个 RAG 代理，并在会话中与其聊天。

评估

  • **评估（评分）**：对您的 AI 应用数据集运行评估。

    • 此页面演示了流程评估 API，用于对您的自定义 AI 应用数据集运行评估。您可以上传自己的评估数据集，并使用可用的评分函数运行评估。

    • 在底层，它使用 Llama Stack 的 /scoring API 对选定的评分函数运行评估。

  • **评估（生成 + 评分）**：使用预注册的评估任务评估模型或代理候选

    • 此页面演示了评估 API 的流程，用于根据预定义的评估任务评估模型或代理候选。评估任务是数据集和评分函数的组合。

    • 在底层，它使用 Llama Stack 的 /eval API 对指定的评估配置运行生成和评分。

    • 为了运行此页面，您可能需要首先通过以下命令将评估任务和数据集注册为资源。

      $ llama-stack-client datasets register \
  --dataset-id "mmlu" \
  --provider-id "huggingface" \
  --url "https://hugging-face.cn/datasets/llamastack/evals" \
  --metadata '{"path": "llamastack/evals", "name": "evals__mmlu__details", "split": "train"}' \
  --schema '{"input_query": {"type": "string"}, "expected_answer": {"type": "string"}, "chat_completion_input": {"type": "string"}}'

    $ llama-stack-client benchmarks register \
--eval-task-id meta-reference-mmlu \
--provider-id meta-reference \
--dataset-id mmlu \
--scoring-functions basic::regex_parser_multiple_choice_answer

检查

  • **API 提供者**：检查 Llama Stack API 提供者

    • 此页面允许您检查 Llama Stack API 提供者和资源。

    • 在底层，它使用 Llama Stack 的 /providers API 获取有关提供者的信息。

  • **API 资源**：检查 Llama Stack API 资源

    • 此页面允许您检查 Llama Stack API 资源（models、datasets、memory_banks、benchmarks、shields）。

    • 在底层，它使用 Llama Stack 的 /<resources>/list API 获取每个资源的信息。

    • 请访问 核心概念 了解有关资源的更多详情。

启动 Llama Stack Playground

要启动 Llama Stack Playground，运行以下命令

  1. 启动 Llama Stack API 服务器

llama stack build --template together --image-type conda
llama stack run together

  1. 启动 Streamlit UI

uv run --with ".[ui]" streamlit run llama_stack/distribution/ui/app.py