Unity3D for VR 学习(7): 360°全景照片

在VR应用中,有一个相对简单的虚拟现实体验,那就是360°全景照片浏览器, 他可以使得手机拍照的”全景”照片,  得以”恢复”当时拍照的场景全貌,  这个创意的确比单纯的2d图片更有震撼力一些,故本文就制作360全景照片的过程进行简单小结。

Step 1:预期需求

可以通过手机的陀螺仪,在魔镜中查看360°图片;不用依赖任何蓝牙输入,仅通过Gaze Input进行选择下一张360°图片(盯着缩放图2s,进度条旋转完成后,就切换图片;用Gear VR的磁铁触发功能也可以实现选择下一张图片)。

Step 2: 准备材料

硬件:暴风魔镜4  + 小米Note顶配版(2K屏幕)

SDK:魔镜手柄、反畸变SDK_Unity版,或者 Google cardboard-unity,本文使用的是Googe CardBoard

Step 3: 创建材质球

360°照片,展开看就是一个投影的2D照片,这个在初中学习世界地理的时候将类似投影球形地图到2维平面上,原理类似,只不过一个360°照片的投影失真会小很多.

为了复原,需要建立一个3D Object\Sphere, 我们通过把图片贴到这个球体上,从内侧看效果。 然后拖放照片到Sphere上,球体放大10倍; 这个时候,发现一个问题在Game视图中看不到东西了,因为Camera没有在球心位置,修改Camera坐标为(0,0,0)位于球心。

我们依然看不到图片,因为Spere默认用的是Unlit/Transparent Shade,他为了渲染高效,把背面给剔除了,而在这里,我们洽洽需要渲染背面,故得从新写个shade–关闭cull off。

DoubleSided.Shader文件

Shader "Unlit/DoubleSided" 

    Properties 
    { 
        _Color("Main Color", Color) = (1,1,1,1) 
        _MainTex("Texture", 2D) = "white" {} 
    } 
        SubShader 
    { 
        //Ambient pass 
        Pass 
        { 
            Name "BASE" 
            Tags {"LightMode" = "Always" /* Upgrade NOTE: changed from PixelOrNone to Always */} 
            Color[_PPLAmbient] 
            SetTexture[_BumpMap] 
            { 
                constantColor(.5,.5,.5) 
                combine constant lerp(texture) previous 
            } 
        SetTexture[_MainTex] 
    { 
        constantColor[_Color] 
        Combine texture * previous DOUBLE, texture *constant 
    }

}

//Vertex lights 
        Pass{ 
        Name "BASE" 
        Tags {"LightMode" = "Vertex"} 
        Material 
    { 
        Diffuse[_Color] 
        Emission[_PPLAmbient] 
        Shininess[_Shininess] 
        Specular[_SpecColor] 
    }

SeparateSpecular On 
        Lighting On 
        cull off 
        SetTexture[_BumpMap] 
        { 
            constantColor(.5,.5,.5) 
            combine constant lerp(texture) previous 
        } 
        SetTexture[_MainTex] 
        { 
            Combine texture *previous DOUBLE, texture *primary 
        } 
    }

}

FallBack "Diffuse", 1 
}

替换了新的Shade后,效果好了很多了,唯一有问题的是我们看到的照片是反的,故修改Spere的.Z为-10.

通过在Unity.Editor上Play效果,已经很不错了,至此完成了大部分的工作,下面开始”移植”到VR设备上

Step 4: 添加VR Camera

先禁用掉默认的MainCamera、light。

然后添加VR摄像机—导入Google的CardboardSDKForUnity.unitypackage后,拖入CardboardMain.prefab到场景中。 这时候点击Play启动UnityEditor,即可看到双VR Camera的效果,点击调试快捷键:Alt + 移动鼠标,即可看到模拟的陀螺仪效果。

这个时候打包为apk,安装到手机,用真机的陀螺仪体验,效果更酷。

Step 5: 添加Gaze-and-Tap 用户界面

完成《Step 4: 添加VR Camera》后,实际上已经完成了360°全景照片功能,但是这个仅仅是一个demo,有一个致命的痛点:只有1张照片,如果我有4张照片,每次独立打包为一个apk,这显然不合理。 故需要做一些VR交互。

这里,我们添加4个Plane,通过上面章节的《Unity3D for VR 学习(5): VR Gaze Input》,期望可以实现通过Gaze一个Plane 3s,然后能够切换新的照片功能。

添加Plane,坐标修改如下:

添加一个脚本,实现响应EventSystem,可通过2种办法

方法1: 添加Event Trigger脚本,响应PointerEnter、PointerExit等方法,如图

方法2:脚本直接继承IPointerDownHandler、IPointerExitHandler等接口,这个看起来更符合程序员胃口

我们通过控制Plan的Color.a来实现高亮选择,代码如下

public void SetGazeAt(bool gazeAt) 
    { 
        Debug.Log("SetGazeAt: " + gazeAt); 
        Renderer render = this.GetComponent<Renderer>(); 
        Color cor = render.material.color; 
        cor.a = gazeAt ? 1f : 0.5f; 
        render.material.color = cor; 
    }

另外,当Gaze 2s后,会动态替换material的Texture来实现替换360°照片,代码如下

public void OnClick() 

    Renderer renderSrc = this.GetComponent<Renderer>(); 
    Renderer renderDst = pano.GetComponent<Renderer>(); 
    Texture tex = renderSrc.materials[0].GetTexture("_MainTex"); 
    renderDst.materials[0].SetTexture("_MainTex", tex); 
}

备注:

360°全景照片,非常大,有好几M,这个对手机app来说会造成文件太大,实际商用中,需要采用AB(AssetBundle)实现动态从网络侧更新360图片,那样会更酷一些(轻量级)。

本文用到的完整的 demo Git地址: Git.OSChina.net

昨天网上一个朋友问了一个VR问题:

可否像3D Max那样,动态替换材质,如替换房间地板材质,实现全景照片替换?

回答:不行,只能动态替换整个的全景照片;我昨晚细细思索,好像还是不行,除非建立3D模型,采用动态换装才能实现动态换360°照片中的大树、地板吧。

转载请注明转自《Unity3D for VR 学习(7): 360°全景照片

时间: 2024-10-18 18:46:07

Unity3D for VR 学习(7): 360°全景照片的相关文章

Unity3D for VR 学习(8): Unity Shader概述

从西安到北京高铁上,一位VR老外团队的华人leader对VR技术做了画龙点睛: “3D游戏的核心部分在Render, 国内很多团队美术.程序中间缺失严重.所以3d游戏做不好. VR这块更是至关重要.” 故,欲VR,先Shader吧. 1 CG规范: 计算机图形学(英语:computer graphics) 在Windows下图像渲染是DirectX: 在Linux下图形渲染是OpenGL:在苹果下新出的Metal渲染.而作为Unity3D程序,跨平台的特性则无须对这些平台一一掌握,仅需要从CG规

Unity3D for VR 学习(2): 暴风魔镜框架探索

学习一个新技术,有三个法宝: 法宝1: 掌握厂家提供的用户API手册 法宝2: 掌握厂家提供的demo样例 法宝3:<每个研发人员都应树立的一个demo模式> 故,学习魔镜4技术,亦如是也. 暴风魔镜4是 硬件 + 暴风VR SDK软件的CardBoard VR解决方案. 硬件 魔镜4硬件提供了展示容器工具,主要由2个凸透镜和塑料头盔构成.故为了看到效果酷炫的VR效果,必须要依赖5寸以上Android手机–720P以上,把通过暴风魔镜SDK做的App放入里面,通过暴风魔镜凸透镜才能看到VR的效

Unity3D for VR 学习(6): 再次温故知新-3D数学

一年前,系统学习过3D数学,并记录了一篇博客<C#程序员整理的Unity 3D笔记(十):Unity3D的位移.旋转的3D数学模型>. 一年后,再次温习之. 坐标系:Unity3D使用左手笛卡尔坐标系(Descartes coordinate system) 世界坐标系(world space):在一个游戏场景中,唯一. 物体坐标系\局部坐标系(local\Object space):每个物体有各自的独立的坐标系.如桌子的物体坐标系中,扶手相对桌子腿位置.有时候,不需要对外暴漏太多细节. 摄像

Unity3D for VR 学习(9): Unity Shader 光照模型 (illumination model)

关于光照模型 所谓模型,一般是由学术算法发起, 经过大量实际数据验证而成的可靠公式 现在还记得2009年做TD-SCDMA移动通信算法的时候,曾经看过自由空间传播模型(Free space propagation Model),目的为了得出移动信号的传播损耗.当时是基于普通的PC实时运算,非常非常耗时–如北京五环内的传播模型渲染GIS图用了超过20分钟. 光照模型来源有2类: 一类是基于学术论文的算法,如Lambert模型.Phong模型. 另一类基于算法的变种–在实际生产实践中修正得到的模型,

Unity3D for VR 学习(3): 暴风魔镜PC Input小改造–自己动手、丰衣足食

在做手游的时候,80%时间是在PC调试的,例如业务逻辑.AI算法.核心玩法等. 拿到魔镜提供的demo,晕了,必须得安装到Android机器上,才能调试,究其原因,有三: 需要用到手机陀螺仪 需要用到蓝牙手柄 需要用到魔镜的凸透镜 这些都是客观原因,但是每次打包后,安装Android,再戴到头上,Debug.log啥的都看不清,呵呵. 故就着手改造一下输入快捷键,从而可以方便的模拟手机陀螺仪输入.模拟蓝牙输入.模拟非VR Mode切换. 1 模拟手机陀螺仪输入 这个在mojing.cs有现成隐藏

Unity3D for VR 学习(1): 又一个新玩具 暴风魔镜 4(Android)

2016年伊始,有了VR虚拟现实硬件设备:  暴风魔镜4–好奇者的新玩具 . 2015年下半年的朋友圈中各种VR.AR的新闻层次不穷,搞的我也心痒痒的:好歹咱也是职业的Unity3D程序员,高大上的Oculus rift dk2咱玩不起,搞个廉价的VR产品也玩玩嘛! 故, 暴风魔镜 4刚发布就在网上预订了.    原估计春节前能到货,没有想到元旦前就到货了,高兴 — 业内良心嘛. 迫不及待玩了几天,小结如下: 1 魅蓝 Note 2 + 魔镜4 的VR效果不错,完全对得起159元的预订价,比预期

Unity3D for VR 学习(4): 自绘摄像机的视口区域锥体

在Unity Editor下,当选择Camera组件后,可呈现出Camera视口区域锥体,非常方便.但是当选择其他物体,如Cube后,就无法得知是否在Camera市口区内了,这里我找到了雨松MOMO的一篇博客<Unity3D研究院之获取摄像机的视口区域>,他用Camera.fieldOfView和Camera.aspect算出屏幕比例,然后再得出width.height(摄像机)绘制了四边形,非常酷,可以解决这个痛点. 我在巨人肩膀上,做了一些拓展: 自动获得Camera的farClipPla

《图说VR入门》——360全景视频

本文章由cartzhang编写,转载请注明出处. 所有权利保留. 文章链接:http://blog.csdn.net/cartzhang/article/details/53674647 作者:cartzhang <图说VR入门>--360全景视频 本章用使用较早的Unity OC 插件来实现一个360全景视频,且通过使用不同的路径配置,可以随意切换视频内容.这样省去了多次打包的过程,简单易用. 当然,你可以花费40刀来购买一个. https://www.assetstore.unity3d.

菜鸟在线教你用Unity3D开发VR版的Hello World

大家好,我是菜鸟在线的小编.这篇短文将告诉大家如何用Unity3D开发VR版的Hello World. 1开启SteamVR并连接Vive设备 (a)登录Steam客户端,并点击右上角的VR按钮,这时会弹出SteamVR的小窗口 (b)连接好所有VR设备,连接成功后SteamVR窗口上的图标会全部变为绿色 2新建unity3d工程 3通过Asset Store导入SteamVR Plugin 4拖入相关prefab 先删除所有默认GameObject 然后将SteamVR/Prefabs中的所有