Rokid携手声网走一条和Facebook不一样的路

http://news.gkjw.com.cn  2021-09-24 20:27:04  发布于:北京市     来源: 河北电视台   作者:

Facebook的Horizon Workrooms发布后引起热议。是否这样的VR会议将成为我们的工作方式,想得更远一点,我们要把工作和生活的重心向数字空间转移吗?

扎克伯格接受采访时多次提及元宇宙概念,要把Facebook转型成为一家元宇宙公司。

互联网在由二维向三维空间进化

随着互联网基础设施的完善,5G的推广乃至呼之欲出的6G,全球前沿科技公司都在AR和VR领域的加速布局……这些都在昭示着,互联网技术日臻成熟,正在由二维向三维空间进化,人类智者早已预见:1992年“元宇宙”被小说家提出,2010年“数字孪生”被NASA定义。元宇宙也好,数字孪生也罢,科技终将为人服务,让现实世界变得更加美好。

目前走向三维空间有两种路径,一种是虚拟现实(VR),另一种是增强现实(AR)。Facebook选择的路线就是前者,虚拟人在Workrooms协同办公,具有VR的传统优势,沉浸感更强;而Rokid从一开始就走了后一条路,增强现实,让数字内容成为人的“超能力”,解决现实世界的问题。

为什么Rokid选择AR,不选择VR路线呢?

过去数十年间,现实世界和数字世界存在许多裂痕。Rokid认为未来的交互平台,不应割裂现实世界和数字世界,而是要实现人、数字世界和现实世界三个对象的融合交互,让人们拥有平等的机会从科技发展中获益。

Rokid致力于AR眼镜等软硬件产品的研发及以YodaOS-XR操作系统为载体的生态构建,积累了大量的XR能力,这些能力恰恰是元宇宙的五色土,为元宇宙的物种生长输送营养。Rokid不断探索感知力、理解力、协同力、展现力、数字(内容)资产生产和管理的能力,并把这些能力赋予开发者和合作伙伴。

Rokid与声网达成战略合作,共同向下一个时代迈进。应对变化,Rokid迈出的第一步是将携手合作伙伴打造出一个能够自由创作并形成数字资产,最终让人、现实世界、虚拟世界协同的空间——Rokid MSpace。

想必大家会很好奇:MSpace这个空间怎样让人有身临其境之感,它又是如何使虚拟世界与真实世界自然融合在一起的?

MSpace:身临其境的有求必应屋

我们判断是否在现场,与他人同处一个空间,主要依赖我们的感知系统——视觉和听觉。

视觉方面,戴上Rokid AR眼镜可以看到3D虚拟人出现在空间里,虚拟人的手势、口型、神态由Rokid XR能力的语音识别、手势识别、图像识别、体态识别、情绪识别、眼动追踪等技术支持,让虚拟人可以与人、与环境实时互动。例如,AI技术让真人语音支配虚拟人的口型变换,给人观感更加拟真。

听觉方面,声网的声场渲染技术给予人听声辨位的能力,能听出发言者的空间位置。声场渲染除了让人听声辨位,还能给声音本身施加特效,MSpace可以变身成在线K歌房、直播间,美声、娃娃音、海豚音……千人千音不是梦,每个人都可以成为歌手!MSpace也可以变成能随时登录的自习室,当你上网课想放弃时,前后左右同学的数字虚拟化身都还在,空间里只有键盘打字记笔记的声音。MSpace还可以变成一个家庭休息室,忙碌的父母在工作日的午后也能陪孩子搭积木。

有求必应屋的魔法石“RTC”和“RTE”

要想让MSpace维持运转有个基本的能力,就是实时互动。刚才提及的声场渲染就归属于一个更大的技术概念RTE——Real Time Engagement,它的前身是RTC——Real Time Communication(实时通讯技术),如果不知其原理还挺魔幻的。

赛博空间有无数个魔法快递员(bit),他们把你说的话、你此刻的表情动作画面飞速打包,瞬时传递到千里之外。这种快递速度就算是哈利波特骑着飞天扫帚也不行,也就孙悟空的筋斗云能与之一较高下,不过还得给孙大圣留出一个翻跟斗的时间。当网络堵车时,快递员们背着大包小裹都往前冲,包被挤掉了、快递员迟到了就很正常,这种现象就是“丢包”和“延迟”。

 

image.png

声网提供实时音视频互动体验质量保证,其自建的SD-RTN™软件定义实时网,覆盖 200+国家和地区,特别针对东南亚、中东、北美和国内中小城市做网络优化。此外,基于声网音视频编解码专利算法和优异弱网对抗能力,能够实现80%丢包下音频通话流畅,70%丢包下视频通话流畅。这是什么概念?就好像完型填空听力版只听到20个词,有人却能把剩下80个猜出来,完整地转述他人;一幅100块的拼图,只有30块,高手就能把整幅拼图复原。

RTE是RTC的进阶版,如果说RTC是代表着人与人之间的信息互换的话,那么RTE除了信息互换之外,更重要的是还有情景的共享。比如在课堂上,除了老师和学生的声音和视频之外,还需要有老师的白板演示,学生举手回答问题。声场渲染可以传递信令,老师在白板上画画的笔迹就属于信令的一种,因而RTE技术在教育、远程协作等领域应用较为广泛。

如果说Rokid将构建的MSpace是一个魔力空间,你的想象可以随时具现;那么声网就是让你千里之外“全息沟通”的魔法石。

科技放大善意

Rokid认为人和科技要友好相处,在数字经济盛行的时代,不能忽略现实世界的美丽与温暖。增强现实是把虚拟内容叠加到现实世界,让现实世界更加美好,更有利于消弥科技发展产生的隔阂。Rokid的AI、AR产品已在全球七十余个国家和地区投入使用,有效提升用户体验、助力企业增效、赋能公共安全。

科技可以放大善意,帮助弱势群体。譬如,AR眼镜可以把识别到的手语和识别到的语音相互转换,帮助听障人士沟通。对于视障人士而言,基于AR眼镜的物体识别能力能提醒他规避障碍物,当路线中有危险时,AR眼镜语音助手小若琪可以发出语音提醒甚至报警。AR眼镜还可以调整环境色温和成像,增加了颜色的辨识度并提高了成像效果,能够实现良好的色盲矫正。

当然,有了基础的技术,这一切功能实现都离不开广大开发者的参与。Rokid希望让科技与人和谐相处,让每个人都能享受到科技带来的获得感。Rokid全栈自研YodaOS-XR系统,提供各种算法能力和PaaS服务,打造了Rokid AR Platform(ar.rokid.com),Rokid将自身的技术能力开放给各行业的ISV和SI,面向生态开发者和行业客户提供各种平台能力与解决方案,服务千行百业。

在Rokid Jungle,我们将携手声网Agora等合作伙伴重磅发布“空间站”AR生态智投联盟计划,就等你来!今晚18:00点,关注Rokid视频号,我们不见不散!

责任编辑:小雷

频道热点

More

资讯看点
  • 快讯
  • |
  • 行业
  • |
  • 焦点
© 高科技网版权所有  联系我们:821234216@qq.com