RunPod

RunPod 是什么？#

RunPod 是一款面向 AI 推理和训练任务的 GPU 云平台，提供按需和竞价 GPU 实例，支持模型运行、微调和无服务器 AI 推理端点，按秒计费，数据中心分布于北美和欧洲。

RunPod 能做什么？#

• 01

  按需与竞价 GPU 实例

  按秒租用 GPU 实例，混合按需和竞价定价，支持 A100、H100、RTX 4090 等 AI 级 GPU。

• 02

  无服务器 GPU 推理端点

  将 AI 模型推理部署为无服务器端点，空闲时自动缩减至零，按请求计费，避免为闲置容量付费。

• 03

  Pod 模板

  为 PyTorch、ComfyUI、Stable Diffusion、Axolotl 等 AI 框架提供预配置环境，无需手动搭建。

• 04

  网络存储卷

  在多个 Pod 之间挂载持久化网络存储，使模型权重和数据集在 GPU 会话之间保留，无需重复下载。

• 05

  vLLM 与 LLM 推理支持

  以优化的 vLLM 推理后端部署大语言模型，支持生产规模推理、批处理和流式输出。

使用场景#

• “机器学习工程师 — 使用竞价 GPU 实例在大规模数据集上微调 LLaMA 等开源 LLM，降低实验阶段的计算成本。
• “AI 开发者 — 将自定义 Stable Diffusion 检查点部署为无服务器端点，根据请求量自动扩缩容，无需为闲置容量付费。