1.3 Intel RealSense的应用领域

Intel RealSense技术使计算设备有了与人一样的视觉及听觉能力,从而可以更自然地与用户进行交互。机器将不再单纯是傻瓜型的或命令型的,而是可以更智能地与人类协作,营造出“机器+人”的共生系统。

Intel RealSense可以应用于以下时尚和实用的场景。

1.3D扫描、共享和打印

Intel RealSense技术提供了实时的3D扫描重建功能。开发者可以直接调用Intel RealSense SDK的函数对人的脸部、全身,甚至真实场景进行实时3D扫描,扫描的结果是.obj、.ply等标准3D文件格式,如图1-10所示。用户可以对这些3D模型进行编辑,或直接用3D打印机打印出需要的模型。现在的3D打印机已经很成熟,可以打印出上百种材质的立体3D模型,也可以采用彩色3D打印、生物打印等其他方式。目前,绝大部分能用于打印的3D模型都是由建模师手工构建的,这样一则成本太高,二则建出来的模型和现实需要的模型还是相去甚远。Intel RealSense技术提供的3D扫描重建功能方便快捷、低成本地解决了这个大问题,用户可以用随身携带的移动设备扫描现实中的人或物体,把他们带入3D数字世界,将3D世界的扫描、编辑、打印、再现和再次扫描形成一个完美的闭环。

利用Intel RealSense技术3D扫描重建功能所形成的3D模型,不仅可用于3D打印,还可以方便地实时在社交网络分享。今天人们已经可以在美国的Facebook上分享自己扫描的3D模型,并可以360度旋转观看。在国内的微信等社交平台上,也可以通过HTML 5技术,接入扫描好的3D模型。这样人们就可以在社交网站上炫耀立体的自己了。

利用Intel RealSense技术3D重建功能所形成的3D模型甚至可以植入游戏或任何虚拟的世界。例如,可以把自己或朋友进行3D扫描后建成3D模型,植入骨骼点,让用户可以进入虚拟的游戏世界,并操纵“自己”在游戏里过关斩将,横扫千军,感受一种完美的游戏代入感和身临其境的体验感。用户也可以将现实中的物体扫描后带入虚拟世界,实现现场“穿越”,如图1-10所示。

图1-10 Intel RealSense 3D扫描人脸及构建虚拟场景

2.沉浸式协作

当今社会,远程音视频交互虽已普及,但由于时空限制,远程的物体、设计样品等依然不可触及,相互交互的人和要讨论的内容更是要分在不同的视频流和窗口,这使交互效果大打折扣。而借助Intel RealSense的背景切除和替换技术,可以利用实时获得的深度数据,轻松地将用户和背景分割,先进行做不同的图像处理渲染,甚至替换,然后再无缝地融合在一起,即沉浸式交互,如图1-11所示。在现实生活实用中,老师可以一键把自己的现实背景替换成讲课内容的幻灯片,并可以把自己的前景图像放大、缩小、移动或虚化。这样他可以把自己的实时头像摆放到需要讲解的内容旁边,实现无缝融合讲解。这种背景切除技术也可以把几个远程用户同时切割并融合在一个屏幕中。同事们可以同时出现在一个屏幕里进行实时视频会议,甚至要讨论的内容也可以融在同一个界面中;朋友们可以在同一个屏幕里讨论购物推荐,或玩棋牌麻将类游戏;家人们可以在同一个屏幕分享度假照片;当在海边度假的用户需要和上司或客户视频会议时,甚至可以把背景切换成办公室,造成真假时空的对接。

图1-11 沉浸式交互示例

3.游戏与娱乐

基于Intel RealSense技术提供的手势识别、骨骼跟踪等功能,您可以无接触地控制虚拟世界里的玩偶,在游戏里畅游,如图1-12所示。手势与姿态输入功能大大突破了游戏手柄有限的交互体验,真实的场景体验给用户带来了极大游戏的乐趣与挑战。

图1-12 Intel RealSense带来的真实游戏场景体验

不仅如此,Intel RealSense的3D扫描、背景替换、贴图等功能,使得增强现实应用的实现非常便捷。例如,可以先扫描现实场景,然后将虚拟物体放置到构建好的立体空间中,从而实现真实与虚拟的叠加,如图1-13所示。

图1-13 虚拟与真实场景叠加

4.家装和购物

在装修装饰行业中存在与房子结构及装饰格调的合拍问题,传统的解决方案中的3D建模与模拟都是工程巨大的专业任务,对于这个问题以往没有很好的解决方法。同样购买衣物时也有尺寸合身不合身的问题。有了Intel RealSense技术,这些个性定制的任务变得简单易行。无论是丈量房屋尺寸还是成像建模都可以采用Intel RealSense技术解决,因为SDK里的Scene Perception可以对3D摄像头的实时位置和角度跟踪定位,对场景进行快速建模,还可以轻松提供实时的世界3D坐标,如图1-14所示。

图1-14 采用Intel RealSense进行3D建模与家庭装饰

5.增强的照片和视频

Intel RealSense技术充分利用深度图像信息,可以提供增强照片和视频的能力,如图1-15所示。用户应用可以非常方便地利用不同的深度信息,对同一画面来进行焦距重置、尺寸丈量、增强现实贴图等处理。Intel RealSense 3D摄像头可以以每秒60帧的速度实时处理深度数据,而SDK不仅可以对静态图像进行上述处理,也可以实时地处理视频流,以实现视频的增强处理。

图1-15 增强照片示例

6.智能机器人

智能机器人离不开智能的感知装备,Intel RealSense摄像头正是机器人迫切需要的感知装备,如图1-16所示。有了可以集成的Intel RealSense摄像头,无人机如同有了眼睛,可以实时地观测障碍物距离以进行避障,甚至可以在森林里自由自在地飞翔,使得无人机在紧急救援、农业巡查、矿业探测,甚至快递物流等领域的真正使用有了可能。

图1-16 装载Intel RealSense摄像头的无人机与自主车

有了可以集成的RealSense摄像头,自主车和机器人也可以更加快速地进入实用阶段,因为机器人第一次有了真正意义上的可以感知探测3D真实世界的眼睛。例如,精确的室内导航定位是机器人能自主行走的最重要的前提。现在绝大部分方案都是采用激光雷达扫描定位,成本很高,而且更不利的是激光雷达扫描的是与之平行的2D平面,任何不在这个平面中的障碍物无法进入激光雷达建立的2D地图。例如,激光雷达只看到了下面的桌子腿,但对突出的桌面一无所知。这意味着机器人将毫无知觉地一头撞上障碍物。而集成了RealSense摄像头的机器人感知的却是真实的三维世界,它可以利用vSLAM来精确建立三维地图并实时定位,并利用脸部检测和识别找到自己的主人,利用人体跟踪来亦步亦趋地跟随主人,还能利用骨骼检测来进行肢体交互,利用语音处理来进行语言的理解和语言交互。这才使得机器人有可能革命性地与人类真正地进行交流和合作。