RunInfra

RunInfra 是一个 AI 推理优化与部署平台，能够根据对开源模型或完整应用的自然语言描述，自动生成可直接上线的生产级 API。该平台由 Y Combinator 支持，会在不同 NVIDIA GPU 上对 vLLM、SGLang、TensorRT-LLM 等服务引擎进行基准测试，找出最省钱、延迟最低的配置。它借助自动化 Forge 智能体来优化内核、量化模型（AWQ、GPTQ、FP8），并处理连续批处理和 KV 缓存调优。用户既可以把模型部署到 RunInfra 的托管基础设施上，享受按需缩容到零的能力，也可以导出完整可运行的部署套件（Dockerfile、配置文件），部署到 RunPod、Modal 或本地硬件等自有基础设施上。