RunPod

RunPod 能做什么？

• 按需与竞价 GPU 实例

  按秒租用 GPU 实例，混合按需和竞价定价，支持 A100、H100、RTX 4090 等 AI 级 GPU。

• 无服务器 GPU 推理端点

  将 AI 模型推理部署为无服务器端点，空闲时自动缩减至零，按请求计费，避免为闲置容量付费。

• Pod 模板

  为 PyTorch、ComfyUI、Stable Diffusion、Axolotl 等 AI 框架提供预配置环境，无需手动搭建。

• 网络存储卷

  在多个 Pod 之间挂载持久化网络存储，使模型权重和数据集在 GPU 会话之间保留，无需重复下载。

• vLLM 与 LLM 推理支持

  以优化的 vLLM 推理后端部署大语言模型，支持生产规模推理、批处理和流式输出。