可用分发列表
以下是您可以用来启动 Llama Stack 服务器的开箱即用分发列表。
选择分发/模板
选择哪个模板/分发取决于您运行 LLM 推理的硬件。
您想要托管的 Llama Stack 端点吗？ 如果是，我们建议利用托管 Llama Stack 端点的合作伙伴。主要是 fireworks.ai 和 together.xyz。
在这里阅读更多详情 - 远程托管端点。
您有可访问 GPU 的机器吗？ 如果您希望在本地或云实例上运行 Llama Stack 并托管您自己的 Llama Stack 端点，我们建议使用
您是在“普通”台式机或笔记本电脑上运行吗？ 我们建议使用 ollama 模板进行快速原型开发并开始使用，而无需担心需要 GPU。
您有 Fireworks、Together 等远程推理提供商的 API 密钥吗？ 如果是，我们建议使用
您想在您的 iOS / Android 设备上运行 Llama Stack 推理吗？ 最后，我们还提供了在您的 iOS / Android 设备上运行 Llama Stack 推理的模板
如果以上都不符合您的需求，您还可以构建您自己的自定义分发。