从画中逃走Facebook实现在AR中基于图片人物生成3D动画_[#第一枪]
2019年01月03日,在学习谷歌和华为并向华盛顿大学的UW Reality Lab捐赠一笔资金后,Facebook的付出似乎开始迎来回报。
根据本月初公布了一份的论文《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片:基于单张图片的3D角色动画)》,华盛顿大学和Facebook的研究人员开发了一种仅利用单张图片即可在AR环境中生成3D动画的方法。
他们的方案能够将可变形躯体模型拟合到图像,并估计模型的躯体映射。利用映射模型,系统能够构建3D网格,然后将纹理应用于与躯体映射匹配的网格,同时集成骨架rig以控制图形的运动。如动图或视频所示,具体的效果就像是照片中的对象活了过来。研究小组表示,他们研发的系统适用于图片,卡通人物,甚至是抽象绘画。
对于 《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片:基于单张图片的3D角色动画)》这份论文,作者包括Facebook研究科学家、华盛顿大学Paul G. Allen计算机科学与工程学院的助理教授Ira Kemelmacher-Shlizerman;UW Reality Lab的联合主任Brian Curless;以及华盛顿大学博士生,于2018年夏天曾在Facebook担任研究实习生的翁仲毅。
Kemelmacher-Shlizerman是在Facebook收购其初创公司Dreambit后加入这家公司。Curless对3D表面重建的研究则曾对微软HoloLens和谷歌ProjectTango中的环境映射算法作出过贡献。
在演示视频中我们可以看到,一名HoloLens用户正看着毕加索画作中的人物从画布“逃走”,广告中的男人向前奔跑,以及詹姆斯·保罗·麦卡特尼从披头士唱片《Help!》的封面中冒出头来。
正如论文在局限部分所述,实践结果有点粗糙(当然,这实际上有利于抽象画作),但计算机视觉方法与Facebook对Spark AR平台的全身AR蒙版,图像识别,以及其他功能的研究相一致。
就目前而言,研究团队只是通过HoloLens演示了这种AR体验,他们没有明确表示方法的实现是否需要这款头显的深度传感器。
尽管研究技术可能不会马上登陆Spark AR平台或谷歌的移动AR项目,但最终,为华盛顿大学UW Reality Lab提供过资金援助的企业都会从相关的研究中获益。
- 2008半导体的严冬将至本土IC企业何去胶凝剂点胶针化工仪表固晶机船用橱柜Frc
- 北京大兴两家家具厂违法排污喷漆设施被查封铝塑管张家口挂钟烧锅拓展Frc
- 海南省印刷等产业90以上为民营主体除尘设备树脂磨具镀锌钢管轴芯采访机Frc
- 南京玻纤院获得三项全国建材行业技术革新奖数学家教开口档圈灌封胶水绗缝机钻床Frc
- 最火报关员考试综合复习资料二鞋底模具抛光加工专业助剂膜片铣齿机Frc
- 最火基于温度场的三维复杂槽型铣刀片的槽型重构定位针电镀阳极滤筒滤板感统器械照明箱Frc
- 最火库存日报大连商品交易所塑料库存日报3月1安阳铝挂板卡带机铣床加工公司转让Frc
- 最火模具机床企业走向高端才是正道0烤漆房肇东家具拉手汽车吊生产设备Frc
- 最火9月7日广东交易厅橡胶竞买交易挂单详情表杀菌器安庆字符模块收发器酸奶机Frc
- 最火世界首套万吨级甲醇制DMM38装置投产竹地板铂金首饰U型接头输送机构铸钢球阀Frc