ARKit学习之SCNGeometrySource加顶点、法线、纹理及索引时贴图不正确

1、背景

  需求:通过ARKit,让用户拍摄房间时显示挑选的家具或其它模型。

  要求:需要感知房间的空间大小,让家具物体贴近现实。

2、功能实现

  由于公司不是用通用的3D模型obj、dae或者苹果官方的scn文件。

  之前对于3D建模知识完全不懂,所以只能摸索有没有更底层的方法。

  后面看例子,发现可以用SCNGeometrySource和SCNGeometryElement实现。

代码如下:

  

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #b21889; background-color: #1e2028 }
p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 17.0px Menlo; color: #ffffff; background-color: #1e2028 }
p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #41b645; background-color: #1e2028 }
span.s1 { font: 17.0px Menlo; color: #ffffff }
span.s2 { font: 15.0px Menlo; color: #b21889 }
span.s3 { font: 15.0px Menlo; color: #41b645 }
span.s4 { color: #b21889 }

typedef struct {

float x, y, z;    // position

float nx, ny, nz; // normal

float s, t;       // texture coordinates

} SourceVertex;

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 17.0px Menlo; color: #ffffff; background-color: #1e2028 }
p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 17.0px Menlo; color: #ffffff; background-color: #1e2028; min-height: 20.0px }
p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #ffffff; background-color: #1e2028 }
p.p4 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #00a0be; background-color: #1e2028 }
span.s1 { font: 15.0px Menlo; color: #00a0be }
span.s2 { font: 15.0px Menlo; color: #83c057 }
span.s3 { font: 15.0px Menlo; color: #b21889 }
span.s4 { font: 17.0px Menlo }
span.s5 { color: #00a0be }
span.s6 { color: #b21889 }
span.s7 { color: #83c057 }
span.s8 { font: 17.0px Menlo; color: #ffffff }
span.s9 { font: 15.0px Menlo; color: #786dc4 }
span.s10 { font: 15.0px Menlo; color: #41b645 }
span.s11 { font: 15.0px Menlo; color: #c67c48 }
span.s12 { color: #786dc4 }

- (SCNGeometry *)geometryWithSourceVertex:(SourceVertex *)vertexcs faces:(int *)faces vertexNum:(int)vertexNum faceNum:(int)faceNum {

NSData *data = [NSData dataWithBytes:vertexcs length:sizeof(SourceVertex)*vertexNum];

SCNGeometrySource *vertexSource, *normalSource, *tcoordSource;

vertexSource = [SCNGeometrySource geometrySourceWithData:data

semantic:SCNGeometrySourceSemanticVertex

vectorCount:vertexNum

floatComponents:YES

componentsPerVector:3 // x, y, z

bytesPerComponent:sizeof(float)

dataOffset:offsetof(SourceVertex, x)

dataStride:sizeof(SourceVertex)];

normalSource = [SCNGeometrySource geometrySourceWithData:data

semantic:SCNGeometrySourceSemanticNormal

vectorCount:vertexNum

floatComponents:YES

componentsPerVector:3 // nx, ny, nz

bytesPerComponent:sizeof(float)

dataOffset:offsetof(SourceVertex, nx)

dataStride:sizeof(SourceVertex)];

tcoordSource = [SCNGeometrySource geometrySourceWithData:data

semantic:SCNGeometrySourceSemanticTexcoord

vectorCount:vertexNum

floatComponents:YES

componentsPerVector:2 // s, t

bytesPerComponent:sizeof(float)

dataOffset:offsetof(SourceVertex, s)

dataStride:sizeof(SourceVertex)];

NSData *eleData = [NSData dataWithBytes:faces length:faceNum*3*sizeof(int)];

SCNGeometryElement *element = [SCNGeometryElement geometryElementWithData:eleData primitiveType:SCNGeometryPrimitiveTypeTriangles primitiveCount:faceNum bytesPerIndex:sizeof(int)];

SCNGeometry * geometry = [SCNGeometry geometryWithSources:@[vertexSource,normalSource,tcoordSource]

elements:@[element]];

return geometry;

}

3. 问题

  加载完成后,纹理图片显示不正确,会有扭曲的情况。

  由于例子比较少,网上的相关问题也少,搞到我花了很多时间去研究。开始以为是API方法问题,或者数据取值导致,但对照网上的加载显示六方形的方法,检查不出有问题。

  后来只能尝试把模型转成obj文件格式,通过ModelIO去加载obj,测试后完全没问题,那只能从数据方面入手了。

  不过尝试过,直接读obj的顶点、纹理、法向量和索引,加载出来的图形也是有问题。但通过ModelIO加载出来的数据,再用SCNGeometrySource加载也没问题。

  这样比较清晰了,数据要加工处理过才行。

  网上搜索到一个从obj加载数据,然后进行合面操作,网址是:https://blog.csdn.net/qinyuanpei/article/details/49991607 。加载出来显示没问题,但有性能问题,因为算法要对面索引

  进行n*n的循环,当面索引数据大的时候,加载一个面要1分钟以上。

4. 解决方法

  通过搜索加载obj文件数据的方案发现,纹理显示不正确,是因为顶点、纹理数据和面索引对应不上,后面想到直接根据面索引,重排顶点和纹理数据就可以解决这个问题了。

代码如下:

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 17.0px Menlo; color: #ffffff; background-color: #1e2028 }
p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 17.0px Menlo; color: #ffffff; background-color: #1e2028; min-height: 20.0px }
p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; background-color: #1e2028; min-height: 14.0px }
span.s1 { font: 15.0px Menlo; color: #b21889 }
span.s2 { font: 15.0px Menlo; color: #786dc4 }
span.s3 { font: 15.0px Menlo; color: #41b645 }
span.s4 { font: 15.0px Menlo; color: #83c057 }

for (int i = 0; i < facesNum; i++) {

// 第一个顶点

int index = faces[i*9] - 1;

vertexcs[i*3].x = point[index*3];

vertexcs[i*3].y = point[index*3+1];

vertexcs[i*3].z = point[index*3+2];

// 纹理

index = faces[i*9+1] - 1;

vertexcs[i*3].s = tex[index*2];

vertexcs[i*3].t = tex[index*2+1];

// 法向量

index = faces[i*9+2] - 1;

vertexcs[i*3].nx = normal[index*3];

vertexcs[i*3].ny = normal[index*3+1];

vertexcs[i*3].nz = normal[index*3+2];

// 第二个顶点

index = faces[i*9+3] - 1;

vertexcs[i*3+1].x = point[index*3];

vertexcs[i*3+1].y = point[index*3+1];

vertexcs[i*3+1].z = point[index*3+2];

// 纹理

index = faces[i*9+4] - 1;

vertexcs[i*3+1].s = tex[index*2];

vertexcs[i*3+1].t = tex[index*2+1];

// 法向量

index = faces[i*9+5] - 1;

vertexcs[i*3+1].nx = normal[index*3];

vertexcs[i*3+1].ny = normal[index*3+1];

vertexcs[i*3+1].nz = normal[index*3+2];

// 第三个顶点

index = faces[i*9+6] - 1;

vertexcs[i*3+2].x = point[index*3];

vertexcs[i*3+2].y = point[index*3+1];

vertexcs[i*3+2].z = point[index*3+2];

// 纹理

index = faces[i*9+7] - 1;

vertexcs[i*3+2].s = tex[index*2];

vertexcs[i*3+2].t = tex[index*2+1];

// 法向量

index = faces[i*9+8] - 1;

vertexcs[i*3+2].nx = normal[index*3];

vertexcs[i*3+2].ny = normal[index*3+1];

vertexcs[i*3+2].nz = normal[index*3+2];

triangleFace[i*3] = i*3;

triangleFace[i*3+1] = i*3+1;

triangleFace[i*3+2] = i*3+2;

}

  

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #00a0be; background-color: #1e2028 }
p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #00a0be; background-color: #1e2028 }
p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Menlo; color: #db2c38; background-color: #1e2028 }

原文地址:https://www.cnblogs.com/loserof/p/10115456.html

时间: 2024-11-08 19:41:40

ARKit学习之SCNGeometrySource加顶点、法线、纹理及索引时贴图不正确的相关文章

【Unity Shaders】法线纹理(Normal Mapping)的实现细节

写在前面 写这篇的目的是为了总结我长期以来的混乱.虽然题目是"法线纹理的实现细节",但其实我想讲的是如何在shader中编程正确使用法线进行光照计算.这里面最让人头大的就是各种矩阵运算和坐标系之间的转换,很容易因为坐标系错误而造成光照结果的错误. 我们将要讨论以下几个问题: 为什么法线纹理通常都是偏蓝色的? 在Unity里,法线纹理是需要把"Texture Type"设置成"Normal Map"才能正确显示,为什么? 把"Textur

OpenGL学习脚印:模型加载初步-加载obj模型(load obj model)

写在前面 前面介绍了光照基础内容,以及材质和lighting maps,和光源类型,我们对使用光照增强场景真实感有了一定了解.但是到目前为止,我们通过在程序中指定的立方体数据,绘制立方体,看起来还是很乏味.本节开始介绍模型加载,通过加载丰富的模型,能够丰富我们的场景,变得好玩.本节的示例代码均可以在我的github下载. 加载模型可以使用比较好的库,例如obj模型加载的库,Assimp加载库.本节作为入门篇,我们一开始不使用这些库加载很酷的模型,而是熟悉下模型以及模型加载的概念,然后我们封装一个

【Unity Shader】(四) ------ 纹理之法线纹理、单张纹理及遮罩纹理的实现

笔者使用的是 Unity 2018.2.0f2 + VS2017,建议读者使用与 Unity 2018 相近的版本,避免一些因为版本不一致而出现的问题. [Unity Shader](三) ------ 光照模型原理及漫反射和高光反射的实现 [Unity Shader](五) ------ 透明效果之半透明效果的实现及原理 在游戏中,我们除了能看到游戏物体的形体轮廓,还能看到物体的一些具体外观,包括颜色,凹凸等.而实现这一步的就是使用 纹理.与纹理相对应的技术就是 纹理映射技术 ,相当于把一张图

从零开始一起学习SLAM | 掌握g2o顶点编程套路

点"计算机视觉life"关注,置顶更快接收消息! ## 小白:师兄,上一次将的g2o框架<从零开始一起学习SLAM | 理解图优化,一步步带你看懂g2o代码>真的很清晰,我现在再去看g2o的那些优化的部分,基本都能看懂了呢! 师兄:那太好啦,以后多练习练习,加深理解 小白:嗯,我开始编程时,发现g2o的顶点和边的定义也非常复杂,光看十四讲里面,就有好几种不同的定义,完全懵圈状态...师兄,能否帮我捋捋思路啊 师兄:嗯,你说的没错,入门的时候确实感觉很乱,我最初也是花了些时间

基于Cocos2d-x学习OpenGL ES 2.0系列——纹理贴图(6)

在上一篇文章中,我们介绍了如何绘制一个立方体,里面涉及的知识点有VBO(Vertex Buffer Object).IBO(Index Buffer Object)和MVP(Modile-View-Projection)变换. 本文将在教程4的基础之上,添加纹理贴图支持.最后,本文会把纹理贴图扩展至3D立方体上面. 基本方法 当我们把一张图片加载到内存里面之后,它是不能直接被GPU绘制出来的,纹理贴图过程如下: 首先,我们为之前的顶点添加纹理坐标属性并传到vertex shader里面去: 然后

OGEngine学习笔记---资源加载

声音管理兼容各种音频文件格式,比特率和样本率 OGEngine开源引擎兼容各种音频视频文件格式,并且引用了硬件加速技术,来对音频文件进行io读取,简化了资源的加载和读取写入的过程,大幅度减少应用卡顿.无响应的状况出现. 一个背景音乐 多个音效 OGEngine开源引擎在同一时间只能播放一首背景音乐,但是能同时播放多个音效. 首先自定义一个枚举类ConfigData,用来存放背景音乐key和音效key. public class ConfigData { /** 背景音乐*/ public sta

顶点法线和面法线

在3D世界中每一个顶点都有颜色,除了使用光源和物体的材质信息之外,还需要知道每个顶点的法向量,根据光照入射方向和法向量的夹角,计算顶点的最终颜色.那么我们来了解下顶点法线. 顶点法线: 每一个顶点都有法向量,就能知道光线到达物体表面的入射角. 面法线: 垂直一个平面的直线叫面法线 一般情况下顶点法线和面法线的方向是相同的,比如一个类是于圆球体和圆的定点法线和面法线方向就不一致,如下图 计算顶点的法向量,假设一个三角形由P0,P1,P2顶点组成. 如何计算顶点的法向量N1呢? N1 = (P0 -

【OpenGL 学习笔记04】顶点数组

通过之前的学习,我们知道,如果要绘制一个几何图形,那就要不断的调用绘制函数,比如绘制一个20条边的多边形,起码要调用22条函数(包含glBegin和glEnd). 所以OpenGL提供了一系列的顶点数组函数减少函数调用的次数来提高性能.而且使用顶点还可以避免顶点共享的冗余处理. 1.简单示例 先来回顾一下之前我们是怎么画直线的: void drawOneLine(GLfloat x1,GLfloat y1,GLfloat x2,GLfloat y2) { glBegin(GL_LINES); g

Away3D 学习笔记(一): 加载3DS格式的模型文件

加载外部的3DS文件分为两种: 1: 模型与贴图独立于程序的,也就是从外部的文件夹中读取 1 private function load3DSFile():Loader3D 2 { 3 loader = new Loader3D(); 4 loader.addEventListener(LoaderEvent.RESOURCE_COMPLETE,onLoadComplete); 5 loader.addEventListener(AssetEvent.ASSET_COMPLETE,onAsset