远程托管分发
远程托管分发是可用的端点,提供 Llama Stack API 服务,您可以直接连接。
分发 |
端点 |
推理 |
Agent |
Memory |
安全 |
遥测 |
---|---|---|---|---|---|---|
Together |
remote::together |
meta-reference |
remote::weaviate |
meta-reference |
meta-reference |
|
Fireworks |
remote::fireworks |
meta-reference |
remote::weaviate |
meta-reference |
meta-reference |
连接到远程托管分发
您可以使用 llama-stack-client
与这些端点交互。例如,列出 Fireworks 端点提供的可用模型
$ pip install llama-stack-client
$ llama-stack-client configure --endpoint https://llamastack-preview.fireworks.ai
$ llama-stack-client models list
查看 llama-stack-client-python 仓库,了解有关如何使用 llama-stack-client
CLI 的更多详细信息。查看 llama-stack-app,获取基于 Llama Stack 构建的应用示例。