当前AI领域的讨论多集中于构建云端算力和大型数据中心以运行模型。与此同时，总部位于伦敦的Mirai公司正致力于改进模型在手机和笔记本电脑等设备上的运行方式。该公司由Dima Shvets和Alexey Moiseenkov于去年联合创立，并已获得由Uncork Capital领投的种子轮融资。两位创始人此前分别联合创立了换脸应用Reface和风靡一时的AI滤镜应用Prisma，在开发可扩展的消费级应用方面拥有丰富经验。

Shvets表示，即使在生成式AI流行之前，他们作为消费级应用开发者就已开始思考设备端的AI与机器学习问题。他们意识到，在生成式AI热潮中，行业焦点普遍集中在云端、服务器和通用人工智能上，而消费级硬件设备端的AI能力则是一个被忽视的环节。因此，他们创立Mirai，旨在利用AI构建技术管道，使手机等设备能够执行更复杂的任务。

目前，Mirai正在开发一个模型框架，以提升模型在设备端的性能。该公司已为Apple Silicon构建了一个推理引擎，可优化设备端的处理吞吐量。据称，通过其即将推出的SDK，开发者仅需少量代码即可将运行时集成到自己的应用中。该引擎采用Rust语言构建，据称可将模型生成速度显著提升。公司在为特定平台调整模型时，不会改动模型权重，以确保输出质量无损。

Mirai的技术栈目前专注于改进平台上的文本和语音模态处理，并计划未来支持视觉模态。团队已开始与前沿模型提供商合作，为其模型进行边缘使用优化，并与多家芯片制造商进行洽谈。未来还计划将其引擎拓展至Android平台。此外，Mirai计划发布设备端基准测试工具，以便模型开发者测试设备端性能。

Shvets也认识到并非所有AI任务都能在设备端完成。为此，团队正在构建一个编排层，以支持混合运行模式，将设备端无法处理的请求发送至云端处理。虽然该公司尚未直接与应用合作，但其引擎未来可能赋能设备端助手、转录、翻译及聊天应用等场景。