您当前的位置:快讯网 > 财经

李菲菲队的机器人模拟训练场2.0版本已经到了!

2021-08-26 15:51 来源:IT之家 作者:苏婉蓉 阅读量:17680 

李菲菲队的机器人模拟训练场2.0版本已经到了!

拥有8000多个交互场景的模拟环境IGibson又进化了!

而在iGibson 2.0演进之后,核心就是一句话:

机器人,别接球了,做家务吧!

比如模拟环境中温度,湿度,切片等物理状态增加,所有机器人迫切需要提供洗,切,煮一条龙服务:

而且外观颜色确实会变做饭

晚饭后,你可以擦桌子上的污渍,收拾桌子。

把不用的蔬菜放回冰箱,看着它们变冻。

人类也可以通过虚拟现实进入模拟环境,向机器人展示如何做一件标准的家务:

现在,让我们来看看这个版本更新的具体内容。

添加5种物理状态

好了,现在我们的机器人玩家已经进入模拟环境,它会做饭了。

这道菜将使用此次iGibson 2.0扩展的五种新物理状态:

湿度

从洗菜开始。

洗菜用水来自流体模拟系统。

比如下面水槽上的水龙头:

水龙头被用作液滴源来产生液滴,然后被收集在其他容器中或被浸泡物吸收。

在iGibson 2.0中,物体吸收的液滴数量对应于物体的润湿程度。

切口

洗完之后,开始切菜。

但是这里有一个问题:

一般来说,仿真环境中的对象假设为节点固定,表面为三角形的三维结构,不容易实现切割的动作。

而iGibson 2.0通过更新切片状态和保持对象实例的扩展状态来完成切割动作。

当握住切片工具并施加超过切片力阈值的力时,切片状态将变为真。

此时,模拟器将用两个对象替换一个对象:

这两个剪切对象将继承整个对象的扩展对象状态。

但是,这种转换是不可逆的,对象将在接下来的模拟时间内一直保持这种切片状态。

温度

现在,我们要用这个微波炉来炸鱼:

为了让温度自然变化,iGibson 2.0将WordNet层次中的对象类别标注为热源。

这是iGibson 2.0中的一项新规定:

也就是说,每个模拟的对象应该是WordNet中现有对象类的一个实例。

这种语义结构可以将特性与同一类的所有实例联系起来。

好了,现在我们要通过这个热源来改变其他物体的温度。

就像现实中的微波炉一样,被加热的物体被手触摸后会开始升温。

具体温度将发生如下变化:

。Sim:模拟时间r:热源变化率

而且,每个物体过去达到的最高温度的历史价值也会保留下来。

比如上图中的鱼,过去已经达到了烹饪或者燃烧的温度。

因此,即使热源关闭后,它也会显示出被烘烤或烧焦的外观。

也就是说,如果在模拟环境中烧了,那就是真的烧了!

清洁度

清洁度,换句话说,就是污垢和污渍的程度。

在iGibson 2.0中,对象在初始化时可能包含灰尘或污垢颗粒,可以采取措施来改变对象的清洁度。

因此,烹饪后,机器人可以选择用布擦拭灰尘颗粒:

或者使用湿工具去除污渍:

状态转换

IGibson 2.0为部分对象提供了开和关的切换功能,同时保持其内部状态和外观变化。

这种状态通过触摸虚拟固定链接切换。

例如,下烤箱打开时外观会发生变化。

最后,机器人关闭了设备,成功完成了任务。

如此稳定,逼真,便捷的仿真环境自然意味着机器人可以训练越来越复杂的任务。

基于逻辑谓词的生成系统

加入这些新的物理状态后,模拟室内环境中的一系列基本活动就足够了。

但是如果我们用日常生活中的自然语言来描述这些状态,emmm。.

就像重庆人对外人的微辣一样,在个体理解上肯定存在语义差异。

因此,基于常见的自然语言,iGibson 2.0定义了一组逻辑谓词:

这组逻辑谓词将扩展对象状态映射到对象的逻辑状态,并以符号方式描述对象的状态。

基于不同的逻辑谓词,我们将对不同的有效对象进行采样。

例如,对于基于对象扩展状态的谓词,如冻结,将对满足谓词要求的扩展状态值进行采样。

如果它是像OnTopOf这样的运动谓词,则有必要将光线投射和分析方法结合起来,以确保对象处于静态物理状态:

此时,我们得到了一个基于逻辑谓词的生成系统。

在这个系统中,只要我们指定一个逻辑谓词列表,就可以更快更方便地生成模拟场景。

虚拟现实允许机器人向人类学习

现在,机器人训练的场地已经搭建好了。

我们的最终目标是让机器人通过训练完成越来越复杂的任务。

p>

那么,或许可以让机器人来看看人类是怎么做的,进而开发出新的解决方案。

于是,iGibson 2.0 引入了 VR,让人类也能进入机器人训练的场景中:

团队根据通过 OpenVR 与市面上主要的 VR 头盔兼容,并有一个额外的跟踪器来控制主体。

通过 iGibson 的 PBR 渲染功能,系统会以最高 90 帧/秒的速度接收从虚拟化身的头部视角生成的立体图像。

而通过人类在 VR 环境中完成任务的流程,研究人员也能更加便捷地收集到长期,复杂,双手动移动操作任务的演示数据。

当然,抓小球的经典任务也不能忘。

为了提供更自然的抓取体验,团队实现了一个辅助抓取机制:

在用户通过抓取阈值后,只要物体在手指和手掌之间,就能在手掌和目标物体之间形成一个额外的约束。

而最后,李飞飞团队也表示:

iGibson 是一个完全开源的,面向大型场景交互任务的模拟环境。

我们希望 iGibson 2.0 能成为社区有用的工具,减少为不同任务创建模拟环境的负担,促进具身 AI研究的解决方案的发展。

下载地址:

论文地址:

官网:

参考链接:

本文地址:http://www.chinaxhk.net/finance/10484.html - 转载请保留原文链接。
免责声明:本文转载上述内容出于传递更多信息之目的,不代表本网的观点和立场,故本网对其真实性不负责,也不构成任何其他建议;本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。

热门推荐
返回顶部