[转]谈谈Linux下动态库查找路径的问题

http://blog.chinaunix.net/uid-23069658-id-4028681.html

学习到了一个阶段之后，就需要不断的总结、沉淀、清零，然后才能继续“上路”。回想起自己当年刚接触Linux时，不管是用源码包编译程序，还是程序运行时出现的和动态库的各种恩恩怨怨，心里那真叫一个难受。那时候脑袋里曾经也犯过嘀咕，为啥Linux不弄成windows那样呢，装个软件那个麻烦不说，连运行软件都这么恼火呢？如果那样的话就不叫Linux了。借用小米公司CEO雷军一句话：小米，为发烧而生。我认为：Linux，为真理而在。特别是为那些喜欢折腾，热衷技术背后原理和实现细节的人们而生。

说到和动态库查找路径相关的问题，总体上可以分为两类：
   第一类：通过源代码编译程序时出现的找不到某个依赖包的问题，而如果此时你恰好已经按照它的要求确确实实、千真万确、天地良心地把依赖库给装好了，它还给你耍混、犯二，有一股折腾不死人不偿命的劲儿，那让人真是气儿不打一处来，如果Linux此时有头有脸，你是不是特想抽它丫两大嘴巴；
   第二类：就是在运行程序的时候，明明把那个程序需要的依赖包都已经安装的妥妥的了，可运行的时候人家就告诉你说“error while loading shared libraries: libxxx.so.y: cannot open shared object file: No such file or directory”，任凭你怎么折腾都没用。此时你要是心想“撤吧，哥们，Linux太TM欺负人了，不带这么玩儿的”，那你就大错特错了，只要你抱着“美好的事情的总会发生”和“办法永远比问题多”的信念坚持下去，你就一定会成功。话的意思有点自欺欺人，精神鸦片的味道在里面，但确实是这么个理儿。
   
   上面两类问题最大的原因就是，你没弄白它们的机制和原理。你看到的只是现象，当年学马克思主义主义哲学原理的时候，老师怎么教导我们的？要透过现象看本质。如果你把上面两中应用的原理搞清了，那问题不就自然而然的迎刃而解了么。下面咱们就一一探讨一下这两个问题，以便对新进学习Linux的朋友们起一个的参考资料的作用。

问题1：通过源代码安装程序
    通过源码包安装程序时，主要用到了“三大步”策略：configure、make和make install 。出问题最多的就是在configure阶段，很多初学者由于不知道configure的那么多参数该怎么用，所以往往为了省事，一句简单的“./configure”下去，百分之八九十都能成功，可问题往往就出在剩下的百分之十几上面了。这让我们又一次相信了，小概率事件的发生对事情的影响是多么的深远。在安装的configure阶段，为了检测安装安装环境是否满足，通常情况下都是通过一个叫做pkg-config的工具来检测它需要依赖的动态库是否存在，这个工具我们在上一篇博文已经认识过了。pkg-config通常情况都是位于/usr/bin目录下，是个可执行程序。在configure阶段，通常都会用pkg-config来判断所依赖的动态库是否存在。现在问题就是，这个工具是如何判断的呢？它的依据是什么？当这两个问题弄明白了，真相也就大白了。

一般当我们安装完某个程序后，如果它提供了动态库的功能，在源码中都会有一个或多个以pc结尾的文件，当执行完make install后这些pc文件拷贝到${prefix}/lib/pkgconfig这个目录里，这里的prefix就是我们在configure阶段时通过配置参数--prefix指定的，缺省情况这个值就是/usr/local，所以这些pc文件最终会被拷贝到/usr/local/lib/pkgconfig目录下。可能有人会问，这些pc文件有啥用呢？我们随便打开一个来瞅瞅：

跟我们configure阶段相关的主要集中在Libs和Cflags两项上面，如果你此时再执行下面这两条命令，就全明白了：

也就是说，pkg-config把我们以前需要在Makefile里指定编译和链接时所需要用到的参数从手工硬编码的模式变成了自动完成，节约了多少跨平台移植的兼容性问题，我们是不是得感谢人家十八辈儿祖宗。假如说，如果我们将要的编译的软件包依赖librtmp这个动态库，那么此时在我系统上这个检测就算通过了。当然这只是第一步，检测过了不一定兼容，这里我们只讨论能不能找到依赖库的问题，兼容性问题那都不是个事儿，人家要啥版本你好生伺候就是了，这个没得商量，最好也不要商量，童叟无欺，不然后果很严重。好了，如果说找不到某个库该怎么办。前提是你确确实实已经安装了它需要的库，不用多想，原因只有一个，pkg-config找不到这个与这个库对应的pc文件。为什么会找不到呢，原因又有两点：
   1、pkg-config搜索了所有它认为合适的目录都没找着这个库对应的pc文件的下落；
   2、这个库在发布时根本就没有提供它的pc文件。
   这里，我们严重“抗议、鄙视+抵制”第二种情况的软件包，而且也尽量不要它，一个出来混都不自报家门的家伙，肯定也好不到哪里去。那么，现在问题就只剩下一个了：pkg-config的查找路径是哪里？

pkg-config较老的版本里，缺省情况下会到/usr/lib/pkgconfig、/usr/loca/lib/pkgconfig、/usr/share/pkgconfig等目录下去搜索pc文件，据我所知在0.23以及之后的版本里pkg-config的源码里已经没有关于缺省搜索路径的任何硬编码的成分了，至于具体从哪个版本开始我也没有去追究，还望有知道的朋友分享一下。取而代之的是，当你看pkg-config的man手册时会有下面一段话：

以及这点补充：

上面提到的prefix、libdir和datadir，就是安装pkg-config时被设定好的，具体情况是：
   1、如果你是通过yum和rpm包安装的
       prefix=/usr
       libdir=${prefix}/lib=/usr/lib
       datadir=${prefix}/share=/usr/share
   2、如果你是通过源码包安装的，且没有指定prefix的值(指定的情况同1)
       prefix=/usr/local
       libdir=${prefix}/lib=/usr/local/lib
       datadir=${prefix}/share=/usr/local/share

pkg-config在查找对应软件包的信息时的缺省搜索路径已经很清楚了，有一点写错了，不是${libdir}/pkg-config，而应该是${libdir}/pkgconfig和${datadir}/pkgconfig。如果你软件包对应的pc文件都不在这两个目录下时，pkg-config肯定找不到。既然原因都已经找到了，那解决办法也就多种多样了。
   方案一：我们可以在安装我们那个被依赖的软件包时，在configure阶段用--prefix参数把安装目录指定到/usr目录下；
   方案二：也可以按照上面说的，通过一个名叫PKG_CONFIG_PATH的环境变量来向pkg-config指明我们自己的pc文件所在的路径，不过要注意的是PKG_CONFIG_PATH所指定的路径优先级比较高，pkg-config会先进行搜索，完了之后才是去搜索缺省路径。
   前者的优点是以后再通过源码安装软件时少了不少麻烦，缺点是用户自己的软件包和系统软件混到一起不方便管理，所以实际使用中，后者用的要多一些。

方案二在实际操作中有两种实现方式：
   1、针对没有root权限的情况，大多数情况都是执行：

然后，在configure时就绝对没问题了。
   2、在用户的家目录下的.bash_profile文件里或系统文件/etc/profile的末尾添加上面一行也成，都可以。
   至此，动态库查找问题的第一种情况就彻底解决了。想了解pc文件的更多细节的，可以参考http://people.freedesktop.org/~dbn/pkg-config-guide.html ； 想学习pkg-config工具更多用法的朋友建议看man手册。

问题2：程序运行时出现libxxx.so.y => not found
   这种情况，在我以前的博文“Linux系统下动态库和静态库那点事儿”里已经提到一部分，这里就把它补充完整。在那篇博文里，我用的配置文件或者“ldconfig 动态库所在路径”的方式解决的，也是99%的场合下的解决办法，那是针对有root权限的用户的解决办法。没有root权限运行软件时，Linux也为我们提供了一个名为LD_LIBRARY_PATH的环境变量来解决运行时动态库查找路径的解决方案。同样地，由这个环境变量所指定的路径会被装载器/lib/ld-2.12.so优先查找，然后才是动态库库缓存文件/etc/ld.so.cache，风采瞬间就被LD_LIBRARY_PATH给抢完了，/etc/ld.so.cache表示很不高兴。针对LD_LIBRARY_PATH环境变量这种情况，绝对是临时不能再临时解决方案了，如果只是测试用，用export像解决PKG_CONFIG_PATH一样的方式干净利索就行了，千万不要在实际生产上线的运维环境里把“export LD_LIBRARY_PATH=...” 添加到.bash_profile或者/etc/profile里，不然到时候悔得你肠子都绿了不可。

其实PKG_CONFIG_PATH和LD_LIBRARY_PATH经常被很多人误用，特别是新手们在解决问题时，也不分青红皂白，逮着了就是一顿狂export，根据实际场合，运气好了说不定问题还真就解决，点儿背了折腾一天半宿也是白忙活。其实要是留点心，还是挺容易明白的：
   PKG_CONFIG_PATH从字面意思上翻译，就是“软件包的配置路径”，这不很明显了么，编译软件时如果出现找不到所依赖的动态库时都全靠PKG_CONFIG_PATH了；
   LD_LIBRARY_PATH也很直白了“装载器的库路径”，LD是Loader的简写，在博文“段错误到底是何方妖孽”里我也曾提到过，在Linux系统启动一个程序的过程就叫做装载，一个程序要执行时它或多或少的会依赖一些动态库(静态编译的除外)。当你用“ldd 可执行程序名”查看一个软件启动时所依赖的动态库，如果输出项有“libxxx.so.y=> not found”一项，你这个软件100%运行不起来。

不信我们来做个试验：

我的系统里没有设置LD_LIBRARY_PATH环境变量，上一篇博文里编译的ffmpeg运行时依赖的非常多的动态库。现在我们把其中的一个库libmp3lame.so.0从/usr/loca/lib下移动到/opt目录里，并执行ldconfig，让libmp3lame.so.0彻底从/etc/ld.so.cache里面消失。其实libmp3lame.so.0只是libmp3lame.so.0.0.0的一个符号链接，我们真正需要移动的是后者，完了之后再执行ldd /usr/local/bin/ffmpeg时结果如下：

我们来试试LD_LIBRARY_PATH，看看好使不：

还记得上面提到了软链接么，libmp3lame.so.0就是libmp3lame.so.0.0.0的软链接，这是动态库的命名规范的一种公约，我们只要在/opt/目录下建立一个名为libmp3lame.so.0的到/opt/libmp3lame.so.0.0.0的软链接就OK了：

所以说，针对动态库路径查找的种种问题，无非就这么两大类，关键是找对原因，对症下药，方能药到病除。