![]()
AI已经能自己玩《崩坏:星穹铁道》了。跟随NPC跑图、探索矿区、挑战首领,甚至独立完成解谜小游戏——这些操作都能交给AI完成。
近日,米哈游旗下《崩坏》系列AI研发团队联合多所高校研究人员,公布了一项名为「Gamer」的研究成果。这是一套通用视觉语言动作基础模型,能够模拟真人的键鼠操作,自主游玩3D和2D游戏。
![]()
参与这项研究的人员来自新加坡国立大学、清华大学、中国科学院大学、中国科学技术大学和西安交通大学等高校。其中,研究指导者之一是米哈游《崩坏3》《崩坏:星穹铁道》《崩坏:因缘精灵》的制作人蒋大卫(David Jiang)。此外,米哈游实习生也参与了项目研发,在核心贡献者和其他贡献者中分别占据一定比例。
研究团队还公开了它在《崩坏:星穹铁道》中的实机演示,展示了模型执行主线任务、探索场景和完成小游戏的能力。
不过,「Gamer」并不是一款专门为《崩坏:星穹铁道》打造的AI工具。根据论文和项目页面公开的信息,它的目标是成为能够适应不同交互环境的通用游戏智能体。
研究团队已经在多款游戏中测试了「Gamer」,涉及《原神》《崩坏:星穹铁道》《绝区零》《PUBG》《DOTA 2》《我的世界》《泰拉瑞亚》《幻兽帕鲁》《星露谷物语》《怪物猎人:荒野》《霍格沃茨之遗》《赛博朋克2077》《GTA 5》《刺客信条:枭雄》《Apex英雄》《毁灭战士:永恒》等作品,覆盖了不同类型的2D和3D游戏。

与依赖游戏内部数据或专用API的方案不同,「Gamer」不需要读取游戏内部信息,就能直接通过屏幕画面理解游戏环境,再生成相应的键盘和鼠标操作指令。
根据研究团队公开的技术资料,「Gamer」以每秒5帧(5 Hz)的频率采集游戏画面,再输出相当于30 Hz频率的原生键盘按键状态和鼠标移动指令,以此模拟真人操作游戏的过程。


为了提升模型执行长时间任务的能力,研究团队使用了超过1万小时、覆盖多款游戏的键鼠操作轨迹进行持续预训练,并结合稀疏思维指令微调和时序感知强化学习,优化模型的操作表现。
此外,团队还专门开发了名为「Streaming-vLLM」的推理引擎。在NVIDIA H200硬件环境下,该引擎将端到端请求延迟从1306毫秒降低至65.12毫秒,以缓解模型执行任务时的推理延迟问题。


从实机演示来看,「Gamer」已经能够在《崩坏:星穹铁道》的雅利洛、仙舟「罗浮」和匹诺康尼等区域推进主线剧情,包括跟随NPC移动、探索矿区以及参与首领战等内容。

除了主线任务,「Gamer」还能够独立完成「枘凿六合」「引航罗盘」「筑梦拼图」等区域小游戏。项目页面公布的测试数据显示,经过强化学习训练的Gamer-RL,在40项此前未接触过的小游戏任务中,平均成功率达到49.7%,表现优于未经微调的通用模型。


不过,这类能够自主操作游戏的AI,也难免让人联想到游戏外挂和自动化脚本。
对此,研究团队强调,「Gamer」目前是一项探索交互环境通用智能体的学术研究项目,潜在应用方向包括游戏测试、无障碍辅助以及人机交互研究。
团队明确表示,不支持将「Gamer」用于游戏作弊、未经授权访问、利用安全漏洞等行为,也反对任何损害用户利益或破坏游戏公平性的用途。

出于数据安全方面的考虑,米哈游研究团队目前仅公开了项目早期基础预训练研究阶段使用的通用文件,并未公开《崩坏:星穹铁道》相关训练数据,也没有发布使用该游戏数据训练或微调后的模型权重。
目前,项目页面已经公开了多段演示视频,供研究人员和感兴趣的玩家了解这项技术的实际表现。
那么问题来了,像「Gamer」这样能够自主操作游戏、完成复杂任务的AI,未来还能用在哪些场景?除了游戏测试和无障碍辅助,你觉得它还有哪些值得探索的实际用途?欢迎在评论区聊聊。

