Virtual Community:构建人类、机器人与社会共存的开放世界模拟平台

• 统一物理引擎Genesis支持多类型机器人(移动机械臂、四足、类人、无人机)与人形化身,具备真实运动与语言交互能力,实现复杂社会行为模拟。
• 自动化管线结合真实地理空间数据与生成模型,打造大规模、真实对齐的三维室内外场景及具社会关系网络的角色社区,支持场景规模达80万平方米。
• 两大挑战任务:社区规划挑战(多智能体协作完成日常助理任务及社交影响力竞争)与社区机器人挑战(异构机器人协作完成复杂开世界物理任务),体现高阶开世界多智能体推理与低阶控制的双重难题。
• 角色由GPT-4o生成,具备多样个性、职业、兴趣及日程安排,日常活动与空间位置紧密结合,支持动态社交关系和任务执行。
• 场景生成采用网格简化、纹理修复(利用Stable Diffusion)、街景重投影等多步骤优化,提升地面视角真实感及交互性,自动注释地标与交通设施,实现交通流模拟。
• 评测显示现有启发式、MCTS、LLM及RL方法在开放世界任务中各有短板,尤其任务规划与多智能体协作仍具巨大提升空间。
• 公开开放源码,提供键盘控制GUI及网页可视化工具,便于人机交互及研究者实验验证。
• 未来将致力于提升视觉质量,扩大模拟规模,丰富动态社会事件和天气系统,缩小模拟与现实的差距。
Media is too big
VIEW IN TELEGRAM
 
 
Back to Top