李菲菲队的机器人模拟训练场2.0版本已经到了!
拥有8000多个交互场景的模拟环境IGibson又进化了!
而在iGibson 2.0演进之后,核心就是一句话:
机器人,别接球了,做家务吧!
比如模拟环境中温度,湿度,切片等物理状态增加,所有机器人迫切需要提供洗,切,煮一条龙服务:
而且外观颜色确实会变做饭
晚饭后,你可以擦桌子上的污渍,收拾桌子。
把不用的蔬菜放回冰箱,看着它们变冻。
人类也可以通过虚拟现实进入模拟环境,向机器人展示如何做一件标准的家务:
现在,让我们来看看这个版本更新的具体内容。
添加5种物理状态
好了,现在我们的机器人玩家已经进入模拟环境,它会做饭了。
这道菜将使用此次iGibson 2.0扩展的五种新物理状态:
湿度
从洗菜开始。
洗菜用水来自流体模拟系统。
比如下面水槽上的水龙头:
水龙头被用作液滴源来产生液滴,然后被收集在其他容器中或被浸泡物吸收。
在iGibson 2.0中,物体吸收的液滴数量对应于物体的润湿程度。
切口
洗完之后,开始切菜。
但是这里有一个问题:
一般来说,仿真环境中的对象假设为节点固定,表面为三角形的三维结构,不容易实现切割的动作。
而iGibson 2.0通过更新切片状态和保持对象实例的扩展状态来完成切割动作。
当握住切片工具并施加超过切片力阈值的力时,切片状态将变为真。
此时,模拟器将用两个对象替换一个对象:
这两个剪切对象将继承整个对象的扩展对象状态。
但是,这种转换是不可逆的,对象将在接下来的模拟时间内一直保持这种切片状态。
温度
现在,我们要用这个微波炉来炸鱼:
为了让温度自然变化,iGibson 2.0将WordNet层次中的对象类别标注为热源。
这是iGibson 2.0中的一项新规定:
也就是说,每个模拟的对象应该是WordNet中现有对象类的一个实例。
这种语义结构可以将特性与同一类的所有实例联系起来。
好了,现在我们要通过这个热源来改变其他物体的温度。
就像现实中的微波炉一样,被加热的物体被手触摸后会开始升温。
具体温度将发生如下变化:
。Sim:模拟时间r:热源变化率
而且,每个物体过去达到的最高温度的历史价值也会保留下来。
比如上图中的鱼,过去已经达到了烹饪或者燃烧的温度。
因此,即使热源关闭后,它也会显示出被烘烤或烧焦的外观。
也就是说,如果在模拟环境中烧了,那就是真的烧了!
清洁度
清洁度,换句话说,就是污垢和污渍的程度。
在iGibson 2.0中,对象在初始化时可能包含灰尘或污垢颗粒,可以采取措施来改变对象的清洁度。
因此,烹饪后,机器人可以选择用布擦拭灰尘颗粒:
或者使用湿工具去除污渍:
状态转换
IGibson 2.0为部分对象提供了开和关的切换功能,同时保持其内部状态和外观变化。
这种状态通过触摸虚拟固定链接切换。
例如,下烤箱打开时外观会发生变化。
最后,机器人关闭了设备,成功完成了任务。
如此稳定,逼真,便捷的仿真环境自然意味着机器人可以训练越来越复杂的任务。
基于逻辑谓词的生成系统
加入这些新的物理状态后,模拟室内环境中的一系列基本活动就足够了。
但是如果我们用日常生活中的自然语言来描述这些状态,emmm。.
就像重庆人对外人的微辣一样,在个体理解上肯定存在语义差异。
因此,基于常见的自然语言,iGibson 2.0定义了一组逻辑谓词:
这组逻辑谓词将扩展对象状态映射到对象的逻辑状态,并以符号方式描述对象的状态。
基于不同的逻辑谓词,我们将对不同的有效对象进行采样。
例如,对于基于对象扩展状态的谓词,如冻结,将对满足谓词要求的扩展状态值进行采样。
如果它是像OnTopOf这样的运动谓词,则有必要将光线投射和分析方法结合起来,以确保对象处于静态物理状态:
此时,我们得到了一个基于逻辑谓词的生成系统。
在这个系统中,只要我们指定一个逻辑谓词列表,就可以更快更方便地生成模拟场景。
虚拟现实允许机器人向人类学习
现在,机器人训练的场地已经搭建好了。
我们的最终目标是让机器人通过训练完成越来越复杂的任务。
p>
那么,或许可以让机器人来看看人类是怎么做的,进而开发出新的解决方案。
于是,iGibson 2.0 引入了 VR,让人类也能进入机器人训练的场景中:
团队根据通过 OpenVR 与市面上主要的 VR 头盔兼容,并有一个额外的跟踪器来控制主体。
通过 iGibson 的 PBR 渲染功能,系统会以最高 90 帧/秒的速度接收从虚拟化身的头部视角生成的立体图像。
而通过人类在 VR 环境中完成任务的流程,研究人员也能更加便捷地收集到长期,复杂,双手动移动操作任务的演示数据。
当然,抓小球的经典任务也不能忘。
为了提供更自然的抓取体验,团队实现了一个辅助抓取机制:
在用户通过抓取阈值后,只要物体在手指和手掌之间,就能在手掌和目标物体之间形成一个额外的约束。
而最后,李飞飞团队也表示:
iGibson 是一个完全开源的,面向大型场景交互任务的模拟环境。
我们希望 iGibson 2.0 能成为社区有用的工具,减少为不同任务创建模拟环境的负担,促进具身 AI研究的解决方案的发展。
下载地址:
论文地址:
官网:
参考链接:
本文地址:http://www.chinaxhk.net/finance/10484.html - 转载请保留原文链接。免责声明:本文转载上述内容出于传递更多信息之目的,不代表本网的观点和立场,故本网对其真实性不负责,也不构成任何其他建议;本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。 |