关于技术上的重复与代码复用

项目遇到分布式与高并发的问题，我的疑惑是：那么多公司能应对高并发与分布式，为什么我们处理起来还是这么难？

我的分析：

1. 很多公司指哪些公司：是不是生活中经常用到的：百度，淘宝等大公司？它们的技术水平更高，也经过了摸索。
2. 别的公司做了，不代表做起来很容易。它们遇到的问题不会一一分享出来，代码、部署、运维也没有完全的、详细的开源出来
3. 这应该是一个综合性的技术问题，既需要代码方面，还需要数据库设计、管理以及机器部署

如果要解决这些问题，应该怎么做？

1. 继续分解这些问题，找到难点，系统的搜索、学习；
2. 寻找分布式与高并发做的好的公司，比如 Google, 百度, 淘宝，看看他们是怎么做的。他们在这方面的分享资料；

引申出的问题：

为什么 Github 上这么多代码，有时候很难找到想要的？

1. 没找到，搜索问题
2. 代码问题太多，还不如自己重写

我想到的解决方法：

1. 使用规范的库，比如 Python，Django 中经过官方认证的库(有这样的官方认证吗？)
2. 公司内部做好代码复用与分享，规范代码格式；
3. 基于 Git 上面的代码进行改进，维护到公司库中；

最近在写一个爬虫项目，有这样的困惑：

Python 帮我们处理了很多东西，我们还需要了解底层的网络请求？

牛顿说站在巨人肩膀上，帮助了他。我们这里也是一样，之前的人已经了解过了，并写出了好用的接口，为什么还要了解底层？是不是重复了，如果前人打的地基足够牢固，我们为什么不直接在上面建房子？

我的想法：

1. 结合底层知识+api文档能更好的调用，应对更多的情况
2. ... 待写

参考：

如何利用开源软件，站在巨人的肩膀上实现快速高效开发？