iOS编译过程的原理和应用

前言

一般可以将编程语言分为两种，编译语言和直译式语言。

像C++,Objective C都是编译语言。编译语言在执行的时候，必须先通过编译器生成机器码，机器码可以直接在CPU上执行，所以执行效率较高。

像JavaScript,Python都是直译式语言。直译式语言不需要经过编译的过程，而是在执行的时候通过一个中间的解释器将代码解释为CPU可以执行的代码。所以，较编译语言来说，直译式语言效率低一些，但是编写的更灵活，也就是为啥JS大法好。

iOS开发目前的常用语言是：Objective和Swift。二者都是编译语言，换句话说都是需要编译才能执行的。二者的编译都是依赖于Clang + LLVM. 篇幅限制，本文只关注Objective C，因为原理上大同小异。

可能会有同学想问，我不懂编译的过程，写代码也没问题啊？这点我是不否定的。但是，充分理解了编译的过程，会对你的开发大有帮助。本文的最后，会以以下几个例子，来讲解如何合理利用XCode和编译

  • __attribute__
  • Clang警告处理
  • 预处理
  • 插入编译期脚本
  • 提高项目编译速度

对于不想看我啰里八嗦讲一大堆原理的同学，可以直接跳到本文的最后一个章节。

iOS编译

不管是OC还是Swift，都是采用Clang作为编译器前端，LLVM(Low level vritual machine)作为编译器后端。

编译器前端

编译器前端的任务是进行：语法分析，语义分析，生成中间代码(intermediate representation )。在这个过程中，会进行类型检查，如果发现错误或者警告会标注出来在哪一行。

编译器后端

编译器后端会进行机器无关的代码优化，生成机器语言，并且进行机器相关的代码优化。

执行一次XCode build的流程

当你在XCode中，选择build的时候（快捷键command+B），会执行如下过程

  • 编译信息写入辅助文件，创建编译后的文件架构(name.app)
  • 处理文件打包信息，例如在debug环境下
Entitlements:
{
    "application-identifier" = "app的bundleid";
    "aps-environment" = development;
}
  • 执行CocoaPod编译前脚本

    • 例如对于使用CocoaPod的工程会执行CheckPods Manifest.lock
  • 编译各个.m文件，使用CompileC和clang命令。
CompileC ClassName.o ClassName.m normal x86_64 objective-c com.apple.compilers.llvm.clang.1_0.compiler
export LANG=en_US.US-ASCII
export PATH="..."
clang -x objective-c -arch x86_64 -fmessage-length=0 -fobjc-arc... -Wno-missing-field-initializers ... -DDEBUG=1 ... -isysroot iPhoneSimulator10.1.sdk -fasm-blocks ... -I 上文提到的文件 -F 所需要的Framework  -iquote 所需要的Framework  ... -c ClassName.c -o ClassName.o

通过这个编译的命令，我们可以看到

clang是实际的编译命令
-x      objective-c 指定了编译的语言
-arch   x86_64制定了编译的架构，类似还有arm7等
-fobjc-arc 一些列-f开头的，指定了采用arc等信息。这个也就是为什么你可以对单独的一个.m文件采用非ARC编程。
-Wno-missing-field-initializers 一系列以-W开头的，指的是编译的警告选项，通过这些你可以定制化编译选项
-DDEBUG=1 一些列-D开头的，指的是预编译宏，通过这些宏可以实现条件编译
-iPhoneSimulator10.1.sdk 制定了编译采用的iOS SDK版本
-I 把编译信息写入指定的辅助文件
-F 链接所需要的Framework
-c ClassName.c 编译文件
-o ClassName.o 编译产物
  • 链接需要的Framework，例如Foundation.framework,AFNetworking.framework,ALiPay.fframework
  • 编译xib文件
  • 拷贝xib，图片等资源文件到结果目录
  • 编译ImageAssets
  • 处理info.plist
  • 执行CocoaPod脚本
  • 拷贝Swift标准库
  • 创建.app文件和对其签名

IPA包的内容

例如，我们通过iTunes Store下载微信，然后获得ipa安装包，然后实际看看其安装包的内容。

  • 右键ipa，重命名为.zip
  • 双击zip文件，解压缩后会得到一个文件夹。所以，ipa包就是一个普通的压缩包。

  • 右键图中的WeChat，选择显示包内容，然后就能够看到实际的ipa包内容了。

二进制文件的内容

通过XCode的Link Map File，我们可以窥探二进制文件中布局。

在XCode -> Build Settings -> 搜索map -> 开启Write Link Map File

开启后，在编译，我们可以在对应的Debug/Release目录下看到对应的link map的text文件。

默认的目录在

~/Library/Developer/Xcode/DerivedData/<TARGET-NAME>-对应ID/Build/Intermediates/<TARGET-NAME>.build/Debug-iphoneos/<TARGET-NAME>.build/

例如，我的TargetName是EPlusPan4Phone，目录如下

/Users/huangwenchen/Library/Developer/Xcode/DerivedData/EPlusPan4Phone-eznmxzawtlhpmadnbyhafnpqpizo/Build/Intermediates/EPlusPan4Phone.build/Debug-iphonesimulator/EPlusPan4Phone.build

这个映射文件的主要包含以下部分：

Object files

这个部分包括的内容

- .o 文文件，也就是上文提到的.m文件编译后的结果。

- .a文件

- 需要link的framework

#！ Arch: x86_64

#Object files:

[0] linker synthesized

[1] /EPlusPan4Phone.build/EPlusPan4Phone.app.xcent

[2]/EPlusPan4Phone.build/Objects-normal/x86_64/ULWBigResponseButton.o

…

[1175]/UMSocial_Sdk_4.4/libUMSocial_Sdk_4.4.a(UMSocialJob.o)

[1188]/iPhoneSimulator10.1.sdk/System/Library/Frameworks//Foundation.framework/Foundation

这个区域的存储内容比较简单：前面是文件的编号，后面是文件的路径。文件的编号在后续会用到

Sections

这个区域提供了各个段（Segment）和节（Section）在可执行文件中的位置和大小。这个区域完整的描述克可执行文件中的全部内容。

其中，段分为两种

  • __TEXT 代码段
  • __DATA 数据段

例如，之前写的一个App，Sections区域如下，可以看到，代码段的

__text节的地址是0x1000021B0，大小是0x0077EBC3，而二者相加的下一个位置正好是__stubs的位置0x100780D74。

# Sections:
# 位置       大小        段       节
# Address   Size        Segment Section
0x1000021B0 0x0077EBC3  __TEXT  __text //代码
0x100780D74 0x00000FD8  __TEXT  __stubs
0x100781D4C 0x00001A50  __TEXT  __stub_helper
0x1007837A0 0x0001AD78  __TEXT  __const //常量
0x10079E518 0x00041EF7  __TEXT  __objc_methname //OC 方法名
0x1007E040F 0x00006E34  __TEXT  __objc_classname //OC 类名
0x1007E7243 0x00010498  __TEXT  __objc_methtype  //OC 方法类型
0x1007F76DC 0x0000E760  __TEXT  __gcc_except_tab
0x100805E40 0x00071693  __TEXT  __cstring  //字符串
0x1008774D4 0x00004A9A  __TEXT  __ustring
0x10087BF6E 0x00000149  __TEXT  __entitlements
0x10087C0B8 0x0000D56C  __TEXT  __unwind_info
0x100889628 0x000129C0  __TEXT  __eh_frame
0x10089C000 0x00000010  __DATA  __nl_symbol_ptr
0x10089C010 0x000012C8  __DATA  __got
0x10089D2D8 0x00001520  __DATA  __la_symbol_ptr
0x10089E7F8 0x00000038  __DATA  __mod_init_func
0x10089E840 0x0003E140  __DATA  __const //常量
0x1008DC980 0x0002D840  __DATA  __cfstring
0x10090A1C0 0x000022D8  __DATA  __objc_classlist // OC 方法列表
0x10090C498 0x00000010  __DATA  __objc_nlclslist
0x10090C4A8 0x00000218  __DATA  __objc_catlist
0x10090C6C0 0x00000008  __DATA  __objc_nlcatlist
0x10090C6C8 0x00000510  __DATA  __objc_protolist // OC协议列表
0x10090CBD8 0x00000008  __DATA  __objc_imageinfo
0x10090CBE0 0x00129280  __DATA  __objc_const // OC 常量
0x100A35E60 0x00010908  __DATA  __objc_selrefs
0x100A46768 0x00000038  __DATA  __objc_protorefs
0x100A467A0 0x000020E8  __DATA  __objc_classrefs
0x100A48888 0x000019C0  __DATA  __objc_superrefs // OC 父类引用
0x100A4A248 0x0000A500  __DATA  __objc_ivar // OC iar
0x100A54748 0x00015CC0  __DATA  __objc_data
0x100A6A420 0x00007A30  __DATA  __data
0x100A71E60 0x0005AF70  __DATA  __bss
0x100ACCDE0 0x00053A4C  __DATA  __common

Symbols

Section部分将二进制文件进行了一级划分。而，Symbols对Section中的各个段进行了二级划分，

例如，对于__TEXT __text,表示代码段中的代码内容。

0x1000021B0 0x0077EBC3  __TEXT  __text //代码

而对应的Symbols，起始地址也是0x1000021B0。其中，文件编号和上文的编号对应

[2]/EPlusPan4Phone.build/Objects-normal/x86_64/ULWBigResponseButton.o

具体内容如下

# Symbols:
  地址     大小          文件编号    方法名
# Address   Size        File       Name
0x1000021B0 0x00000109  [  2]     -[ULWBigResponseButton pointInside:withEvent:]
0x1000022C0 0x00000080  [  3]     -[ULWCategoryController liveAPI]
0x100002340 0x00000080  [  3]     -[ULWCategoryController categories]
....

到这里，我们知道OC的方法是如何存储的，我们再来看看ivar是如何存储的。

首先找到数据栈中__DATA __objc_ivar

0x100A4A248 0x0000A500  __DATA  __objc_ivar

然后，搜索这个地址0x100A4A248，就能找到ivar的存储区域。

0x100A4A248 0x00000008  [  3] _OBJC_IVAR_$_ULWCategoryController._liveAPI

值得一提的是，对于String，会显式的存储到数据段中，例如,

0x1008065C2 0x00000029  [ 11] literal string: http://sns.whalecloud.com/sina2/callback

所以，若果你的加密Key以明文的形式写在文件里，是一件很危险的事情。

dSYM 文件

我们在每次编译过后，都会生成一个dsym文件。dsym文件中，存储了16进制的函数地址映射。

在App实际执行的二进制文件中，是通过地址来调用方法的。在App crash的时候，第三方工具（Fabric,友盟等）会帮我们抓到崩溃的调用栈，调用栈里会包含crash地址的调用信息。然后，通过dSYM文件，我们就可以由地址映射到具体的函数位置。

XCode中，选择Window -> Organizer可以看到我们生成的archier文件

然后，

  • 右键 -> 在finder中显示。
  • 右键 -> 查看包内容。

关于如何用dsym文件来分析崩溃位置，可以查看我之前的一篇博客。

那些你想到和想不到的应用场景

__attribute__

或多或少，你都会在第三方库或者iOS的头文件中，见到过attribute。

比如

__attribute__ ((warn_unused_result)) //如果没有使用返回值，编译的时候给出警告

__attribtue__ 是一个高级的的编译器指令，它允许开发者指定更更多的编译检查和一些高级的编译期优化。

分为三种：

  • 函数属性 （Function Attribute）
  • 类型属性 (Variable Attribute )
  • 变量属性 (Type Attribute )

语法结构

__attribute__ 语法格式为：__attribute__ ((attribute-list))

放在声明分号“;”前面。

比如，在三方库中最常见的，声明一个属性或者方法在当前版本弃用了

@property (strong,nonatomic)CLASSNAME * property __deprecated;

这样的好处是：给开发者一个过渡的版本，让开发者知道这个属性被弃用了，应当使用最新的API，但是被__deprecated的属性仍然可以正常使用。如果直接弃用，会导致开发者在更新Pod的时候，代码无法运行了。

__attribtue__的使用场景很多，本文只列举iOS开发中常用的几个：

//弃用API，用作API更新
#define __deprecated    __attribute__((deprecated)) 

//带描述信息的弃用
#define __deprecated_msg(_msg) __attribute__((deprecated(_msg)))

//遇到__unavailable的变量/方法，编译器直接抛出Error
#define __unavailable   __attribute__((unavailable))

//告诉编译器，即使这个变量/方法 没被使用，也不要抛出警告
#define __unused    __attribute__((unused))

//和__unused相反
#define __used      __attribute__((used))

//如果不使用方法的返回值，进行警告
#define __result_use_check __attribute__((__warn_unused_result__))

//OC方法在Swift中不可用
#define __swift_unavailable(_msg)   __attribute__((__availability__(swift, unavailable, message=_msg)))

Clang警告处理

你一定还见过如下代码：

#pragma clang diagnostic push
#pragma clang diagnostic ignored "-Wundeclared-selector"
///代码
#pragma clang diagnostic pop

这段代码的作用是

  1. 对当前编译环境进行压栈
  2. 忽略-Wundeclared-selector（未声明的）Selector警告
  3. 编译代码
  4. 对编译环境进行出栈

通过clang diagnostic push/pop,你可以灵活的控制代码块的编译选项。

我在之前的一篇文章里，详细的介绍了XCode的警告相关内容。本文篇幅限制，就不详细讲解了。

预处理

所谓预处理，就是在编译之前的处理。预处理能够让你定义编译器变量，实现条件编译。

比如，这样的代码很常见

#ifdef DEBUG
//...
#else
//...
#endif

同样，我们同样也可以定义其他预处理变量,在XCode-选中Target-build settings中，搜索proprecess。然后点击图中蓝色的加号，可以分别为debug和release两种模式设置预处理宏。

比如我们加上：TestServer，表示在这个宏中的代码运行在测试服务器

然后，配合多个Target（右键Target，选择Duplicate），单独一个Target负责测试服务器。这样我们就不用每次切换测试服务器都要修改代码了。

#ifdef TESTMODE
//测试服务器相关的代码
#else
//生产服务器相关代码
#endif

插入脚本

通常，如果你使用CocoaPod来管理三方库，那么你的Build Phase是这样子的：

其中：[CP]开头的，就是CocoaPod插入的脚本。

  • Check Pods Manifest.lock，用来检查cocoapod管理的三方库是否需要更新
  • Embed Pods Framework，运行脚本来链接三方库的静态/动态库
  • Copy Pods Resources，运行脚本来拷贝三方库的资源文件

而这些配置信息都存储在这个文件(.xcodeprog)里

到这里，CocoaPod的原理也就大致搞清楚了，通过修改xcodeproject，然后配置编译期脚本，来保证三方库能够正确的编译连接。

同样，我们也可以插入自己的脚本，来做一些额外的事情。比如，每次进行archive的时候，我们都必须手动调整target的build版本，如果一不小心，就会忘记。这个过程，我们可以通过插入脚本自动化。

buildNumber=$(/usr/libexec/PlistBuddy -c "Print CFBundleVersion" "${PROJECT_DIR}/${INFOPLIST_FILE}")
buildNumber=$(($buildNumber + 1))
/usr/libexec/PlistBuddy -c "Set :CFBundleVersion $buildNumber" "${PROJECT_DIR}/${INFOPLIST_FILE}"

这段脚本其实很简单，读取当前pist的build版本号,然后对其加一，重新写入。

使用起来也很简单：

  • Xcode - 选中Target - 选中build phase
  • 选择添加Run Script Phase

  • 然后把这段脚本拷贝进去，并且勾选Run Script Only When installing，保证只有我们在安装到设备上的时候，才会执行这段脚本。重命名脚本的名字为Auto Increase build number

  • 然后，拖动这个脚本的到Link Binary With Libraries下面

脚本编译打包

脚本化编译打包对于CI（持续集成）来说，十分有用。iOS开发中，编译打包必备的两个命令是：

//编译成.app
xcodebuild  -workspace $projectName.xcworkspace -scheme $projectName  -configuration $buildConfig clean build SYMROOT=$buildAppToDir
//打包
xcrun -sdk iphoneos PackageApplication -v $appDir/$projectName.app -o $appDir/$ipaName.ipa

通过info命令，可以查看到详细的文档
info xcodebuild

在本文最后的附录中，提供了我之前使用的一个自动打包的脚本。

提高项目编译速度

通常，当项目很大，源代码和三方库引入很多的时候，我们会发现编译的速度很慢。在了解了XCode的编译过程后，我们可以从以下角度来优化编译速度：

查看编译时间

我们需要一个途径，能够看到编译的时间，这样才能有个对比，知道我们的优化究竟有没有效果。

对于XCode 8，关闭XCode，终端输入以下指令

$ defaults write com.apple.dt.Xcode ShowBuildOperationDuration YES

然后，重启XCode，然后编译，你会在这里看到编译时间。

代码层面的优化

forward declaration

所谓forward declaration，就是@class CLASSNAME，而不是#import CLASSNAME.h。这样，编译器能大大提高#import的替换速度。

对常用的工具类进行打包（Framework/.a）

打包成Framework或者静态库，这样编译的时候这部分代码就不需要重新编译了。

常用头文件放到预编译文件里

XCode的pch文件是预编译文件，这里的内容在执行XCode build之前就已经被预编译，并且引入到每一个.m文件里了。

编译器选项优化

Debug模式下，不生成dsym文件

上文提到了，dysm文件里存储了调试信息，在Debug模式下，我们可以借助XCode和LLDB进行调试。所以，不需要生成额外的dsym文件来降低编译速度。

Debug开启Build Active Architecture Only

在XCode -> Build Settings -> Build Active Architecture Only 改为YES。这样做，可以只编译当前的版本，比如arm7/arm64等等，记得只开启Debug模式。这个选项在高版本的XCode中自动开启了。

Debug模式下，关闭编译器优化

编译器优化

后续

本来这篇文章还有很多内容想写，篇幅限制，就先这样吧。最近发生了很多不开心的事，这里提醒自己一句：吃一堑，长一智。

后面有时间了，会介绍一些编译期黑科技：

  • 写入额外的编译信息
  • 函数的调用过程和运行时找到函数在二进制文件中的的地址
  • ……

附录

自动编译打包脚本

export LC_ALL=zh_CN.GB2312;
export LANG=zh_CN.GB2312
buildConfig="Release" //这里是build模式
projectName=`find . -name *.xcodeproj | awk -F "[/.]" ‘{print $(NF-1)}‘`
projectDir=`pwd`
wwwIPADir=~/Desktop/$projectName-IPA
isWorkSpace=true
echo "~~~~~~~~~~~~~~~~~~~开始编译~~~~~~~~~~~~~~~~~~~"
if [ -d "$wwwIPADir" ]; then
echo $wwwIPADir
echo "文件目录存在"
else
echo "文件目录不存在"
mkdir -pv $wwwIPADir
echo "创建${wwwIPADir}目录成功"
fi
cd $projectDir
rm -rf ./build
buildAppToDir=$projectDir/build
infoPlist="$projectName/Info.plist"
bundleVersion=`/usr/libexec/PlistBuddy -c "Print CFBundleShortVersionString" $infoPlist`
bundleIdentifier=`/usr/libexec/PlistBuddy -c "Print CFBundleIdentifier" $infoPlist`
bundleBuildVersion=`/usr/libexec/PlistBuddy -c "Print CFBundleVersion" $infoPlist`

if $isWorkSpace ; then  #是否用CocoaPod
echo  "开始编译workspace...."
xcodebuild  -workspace $projectName.xcworkspace -scheme $projectName  -configuration $buildConfig clean build SYMROOT=$buildAppToDir
else
echo  "开始编译target...."
xcodebuild  -target  $projectName  -configuration $buildConfig clean build SYMROOT=$buildAppToDir
fi

if test $? -eq 0
then
echo "~~~~~~~~~~~~~~~~~~~编译成功~~~~~~~~~~~~~~~~~~~"
else
echo "~~~~~~~~~~~~~~~~~~~编译失败~~~~~~~~~~~~~~~~~~~"
exit 1
fi

ipaName=`echo $projectName | tr "[:upper:]" "[:lower:]"` #将项目名转小写
findFolderName=`find . -name "$buildConfig-*" -type d |xargs basename` #查找目录
appDir=$buildAppToDir/$findFolderName/  #app所在路径
echo "开始打包$projectName.app成$projectName.ipa....."
xcrun -sdk iphoneos PackageApplication -v $appDir/$projectName.app -o $appDir/$ipaName.ipa

if [ -f "$appDir/$ipaName.ipa" ]
then
echo "打包$ipaName.ipa成功."
else
echo "打包$ipaName.ipa失败."
exit 1
fi

path=$wwwIPADir/$projectName$(date +%Y%m%d%H%M%S).ipa
cp -f -p $appDir/$ipaName.ipa $path   #拷贝ipa文件
echo "复制$ipaName.ipa到${wwwIPADir}成功"
echo "~~~~~~~~~~~~~~~~~~~结束编译，处理成功~~~~~~~~~~~~~~~~~~~"
时间： 2024-08-28 11:43:06

iOS编译过程的原理和应用的相关文章

iOS 编译过程原理(2)

一.前言 <iOS编译过程的原理和应用>文章介绍了 iOS 编译相关基础知识和简单应用,但也很有多问题都没有解释清楚: Clang 和 LLVM 究竟是什么 源文件到机器码的细节 Linker 做了哪些工作 编译顺序如何确定 头文件是什么?XCode 是如何找到头文件的? Clang Module 签名是什么?为什么要签名 为了搞清楚这些问题,我们来挖掘下 XCode 编译 iOS 应用的细节. 二.编译器 把一种编程语言(原始语言)转换为另一种编程语言(目标语言)的程序叫做编译器. 大多数编

ios 编译过程中碰到std::ios_base::Init::~Init()错误的问题解决方法

转载自:http://wicrewoft.blog.51cto.com/210706/1236005 原作者:范国锋 标签:libstdc++.6.dylib 如果遇到下面这个问题是因为引用的c++库不正确导致,xcode 6.1版本需要引用 libstdc++.6.dylib才能解决问题. Undefined symbols for architecture armv6:"std::ios_base::Init::~Init()", referenced from:  ___tcf_

GCC编译器原理（三）------编译原理三：编译过程---预处理

Gcc的编译流程分为了四个步骤: 预处理,生成预编译文件(.文件):gcc –E hello.c –o hello.i 编译,生成汇编代码(.s文件):gcc –S hello.i –o hello.s 汇编,生成目标文件(.o文件):gcc –c hello.s –o hello.o 链接,生成可执行文件:gcc hello.o –o hello 一.预处理 预编译程序读出源代码,对其中内嵌的指示字进行响应,产生源代码的修改版本,修改后的版本会被编译程序读入. 在 GNU 术语中,预处理程序叫

C语言学习笔记---001C语言的介绍,编译过程原理,工具等

技术qq交流群:Dream:251572072 ----------------------------------------------------------------------- a.C语言的历史 起源 标准化 b.基于c的语言 编程语言都借鉴了c语言的特性 c++语言:包含所有c语言特性,增加了类和其他的特性支持面向对象编程 java:基于C++的,包含了一些c的特性 C#:是由java和c++发展起来的 Perl:脚本语言 c.c语言特性: c语言是一种底层语言,为了适应系统编程

李洪强iOS开发之C语言程序编译过程

汇编语言 指令用特定的名字来标记,这就是汇编语言 人比较容易看懂汇编语言 汇编直接和程序一一对应的 有汇编器把程序翻译成机器码 把高级语言编译成计算机识别的语言 程序编译过程 命令行 UNIX 系统中自带了C语言的编译器,编译器的名字叫CC CC 的含义是C Compler Linux系统是一个开源的,它自带的C编译器叫GCC GCC 不仅可以编译C 还可以编译Python 和OC MAC OS 的编译器是苹果公司自己研发的 Clang 在用CC或者GCC 的命令的时候,本质是调用了clang

从CM刷机过程和原理分析Android系统结构

前面101篇文章都是分析Android系统源代码,似乎不够接地气. 假设能让Android系统源代码在真实设备上跑跑看效果,那该多好.这不就是传说中的刷ROM吗?刷ROM这个话题是老罗曾经一直避免谈的,由于认为没有全面了解Android系统前就谈ROM是不完整的.写完了101篇文章后.老罗认为第102篇文章该谈谈这个话题了,而且选择CM这个有代表性的ROM来谈.目标是加深大家对Android系统的了解. 老罗的新浪微博:http://weibo.com/shengyangluo,欢迎关注! <A

Hive SQL的编译过程

Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用.美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析.Hive的稳定性和性能对我们的数据分析非常关键. 在几次升级Hive的过程中,我们遇到了一些大大小小的问题.通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解.对这一过程的理解不仅帮助我们解决了一些Hive的bug,也有利于我们优化Hive SQL

.NET 代码编译过程

作为一种代码指令平台,Microsoft .NET比微软公司先前推出的其他技术平台要来得更为复杂.由于.NET提供了对多种编程语言以及(在理论上说)多重平台的支持,这就需要在传统的两个代 码层添加一个中间代码层.在这里,传统的两层分别是源代码层和编译后的本机代码层.新加的代码层给.NET平台带来了额外的灵活性,不过,反过来却又增加 了系统的复杂性.此外,由于这一新代码层的出现,一连串的新型应用程序部署选项也首次展现在了程序员的面前. .NET之与众不同:MSIL 在Microsoft .NET框

Hive SQL 编译过程

转自:http://www.open-open.com/lib/view/open1400644430159.html Hive跟Impala貌似都是公司或者研究所常用的系统,前者更稳定点,实现方式是MapReduce,因为用Hue的时候,在groupby中文的时候,出现了点问题,并且看到写很长的SQL语句,经常会看到起很多个Job,因此想了解下Hive怎么将SQL转化成MapReduce的Job.以后写SQL的时候,大概就了解怎么去做优化了.下面是看到的一片优秀的文章(美团的技术博客),我粘过