远程托管分发

远程托管分发是可用的端点,提供 Llama Stack API 服务,您可以直接连接。

分发

端点

推理

Agent

Memory

安全

遥测

Together

https://llama-stack.together.ai

remote::together

meta-reference

remote::weaviate

meta-reference

meta-reference

Fireworks

https://llamastack-preview.fireworks.ai

remote::fireworks

meta-reference

remote::weaviate

meta-reference

meta-reference

连接到远程托管分发

您可以使用 llama-stack-client 与这些端点交互。例如,列出 Fireworks 端点提供的可用模型

$ pip install llama-stack-client
$ llama-stack-client configure --endpoint https://llamastack-preview.fireworks.ai
$ llama-stack-client models list

查看 llama-stack-client-python 仓库,了解有关如何使用 llama-stack-client CLI 的更多详细信息。查看 llama-stack-app,获取基于 Llama Stack 构建的应用示例。