腾讯QQ影像中心研发landmark AR地标技术，助力地标打卡新姿势

在刚刚过去的十一国庆假期,全国国内旅游达近5.5亿人次,其中,北京、上海、杭州和武汉等地成为热门旅游景点。当游客去到东方明珠、黄鹤楼等标志性地标建筑时,免不了拍照打卡为旅程留下美好回忆。如何在国庆摄影大赛中突围而出,晒出最独特的假期打卡“游客照”?最近,就有这么一个「赛博国风」AR短视频玩法,备受好评。

在手机QQ的相机功能上,于国庆前后上线了东方明珠地标、黄鹤楼、天坛和雷峰塔等多个AR短视频模板。用户只需要扫描这几个地标的照片或者实物,就能一键生成一条3D AR特效的地标短视频,例如扫描黄鹤楼,会在画面上出现一只飞鹤和极具威严神圣之感的飞龙。

landmark  AR科技实现「虚实结合」3 D特效

这种虚实结合的3D特效,出自腾讯QQ影像中心研发的landmark AR地标技术。其原理结合了中心自主研发的高精度三维重建和3D物体检测及识别技术,实现地标建筑物逼真稳定的3D AR特效。

三维重建的本质就是根据二维图案来进行处理操作和分析,从而建立表达客观世界的虚拟现实。3D物理检测识别技术则能够通过结构光三角测量原理,将特定波长的极光图案投射到物体表面,从而使得产出的内容有着更高的精确度。

QQ影像中心研发的高精度三维重建技术,使用互联网上爬取的建筑物不同角度和位置的图片及视频,重建出地标建筑物的厘米级精度的高完整性的全景模型,模型的大小及形状真实建筑物高度一致,不但可以用于实现与真实建筑物十分贴合的AR特效,还可以用于生成真实建筑物与虚拟物体的遮挡关系,实现“以假乱真”的AR特效。

建筑物识别检测算法 为用户提供流畅使用体验

QQ影像中心研发的建筑物识别检测算法,依托积累的大量辅助训练数据和完善的筛选标注清洗流程,并且采用NAS技术自动搜索到效果最好性能最优的算法结构,训练出性能高效,识别准确的检测识别算法,为用户提供流畅的使用体验。

据了解,这样的技术,QQ影像中心已实现了技术流程高度模块化、流水线化。甚至,它已然可以完成多个建筑物的并行构筑,目前,完成一个建筑物的重建和识别仅仅需要1-2天时间,并且可并行完成多个建筑物的相关工作。

不同于千篇一律的游客照,QQ影像中心所研发的新玩法,能够让更多用户以更多元的方法,拥抱地标建筑和其背后的人文风韵,也开启传统地标的新可能。

QQ影像中心团队在语义分割、目标检测、分类识别、GAN生成对抗等方面的深厚技术积累,在AI生成领域已进行了很多相关算法的研发和落地工作。此前,该团队在人脸特效及人体动作迁移上所做出的热门AI玩法——漫画脸,迪士尼童话脸、我的奥运夺冠时刻等,也同样带给用户丰富有趣的科技体验。

关于腾讯QQ影像中心

腾讯QQ影像中心(原腾讯光影研究室)是腾讯旗下专注于研究前沿影像处理技术的团队,在单目深度估计技术、语义分割、目标检测、分类识别、GAN生成对抗等方面均有深厚的技术积累。团队一直致力于探索泛娱乐综合解决方案,将前沿的AI能力、先进的玩法引擎和3D渲染技术赋能产品,让视觉创意更多样,音视频编辑更智能,社交沟通更趣味。