一文看懂HashMap

一文看懂HashMap

总所周知HashMap是面试中经常问到的一个知识点，也是判断一个候选人基础是否扎实的标准之一，因为通过HashMap可以引出很多知识点，比如数据结构(数组、链表、红黑树)、equals和hashcode方法，除此之外还可以引出线程安全的问题，HashMap是我在初学阶段学到的设计的最为巧妙的集合，里面有很多细节以及优化技巧都值得我们深入学习，话不多说先看看相关的面试题：

  • 默认大小、负载因子以及扩容倍数是多少
  • 底层数据结构
  • 如何处理hash冲突的
  • 如何计算一个key的hash值
  • 数组长度为什么是2的幂次方
  • 扩容、查找过程

如果上面的都能回答出来的话你就不需要看这篇文章了，那么开始进入正文。

数据结构

  • 在 JDK1.8 中，HashMap 是由 数组+链表+红黑树构成
  • 当一个值中要存储到HashMap中的时候会根据Key的值来计算出他的hash，通过hash值来确认存放到数组中的位置，如果发生hash冲突就以链表的形式存储，当链表过长的话，HashMap会把这个链表转换成红黑树来存储

在看源码之前我们需要先看看一些基本属性

//默认初始容量为16
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;
//默认负载因子为0.75
static final float DEFAULT_LOAD_FACTOR = 0.75f;
//Hash数组(在resize()中初始化)
transient Node<K,V>[] table;
//元素个数
transient int size;
//容量阈值(元素个数超过该值会自动扩容)
int threshold;

table数组里面存放的是Node对象，Node是HashMap的一个内部类，用来表示一个key-value，源码如下：

static class Node<K,V> implements Map.Entry<K,V> {
    final int hash;
    final K key;
    V value;
    Node<K,V> next;

    Node(int hash, K key, V value, Node<K,V> next) {
        this.hash = hash;
        this.key = key;
        this.value = value;
        this.next = next;
    }

    public final K getKey()        { return key; }
    public final V getValue()      { return value; }
    public final String toString() { return key + "=" + value; }
    public final int hashCode() {
        return Objects.hashCode(key) ^ Objects.hashCode(value);//^表示相同返回0，不同返回1
        //Objects.hashCode(o)————>return o != null ? o.hashCode() : 0;
    }

    public final V setValue(V newValue) {
        V oldValue = value;
        value = newValue;
        return oldValue;
    }

    public final boolean equals(Object o) {
        if (o == this)
            return true;
        if (o instanceof Map.Entry) {
            Map.Entry<?,?> e = (Map.Entry<?,?>)o;
            //Objects.equals(1,b)————> return (a == b) || (a != null && a.equals(b));
            if (Objects.equals(key, e.getKey()) && Objects.equals(value, e.getValue()))
                return true;
        }
        return false;
    }
}

总结

  • 默认初始容量为16，默认负载因子为0.75
  • threshold = 数组长度 * loadFactor，当元素个数超过threshold(容量阈值)时，HashMap会进行扩容操作
  • table数组中存放指向链表的引用

这里需要注意的一点是table数组并不是在构造方法里面初始化的，它是在resize(扩容)方法里进行初始化的。

table数组长度永远为2的幂次方

总所周知，HashMap数组长度永远为2的幂次方(指的是table数组的大小)，那你有想过为什么吗？

首先我们需要知道HashMap是通过一个名为tableSizeFor的方法来确保HashMap数组长度永远为2的幂次方的，源码如下：

/*找到大于或等于 cap 的最小2的幂，用来做容量阈值*/
static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

tableSizeFor的功能（不考虑大于最大容量的情况）是返回大于等于输入参数且最近的2的整数次幂的数。比如10，则返回16。

该算法让最高位的1后面的位全变为1。最后再让结果n+1，即得到了2的整数次幂的值了。

让cap-1再赋值给n的目的是另找到的目标值大于或等于原值。例如二进制1000，十进制数值为8。如果不对它减1而直接操作，将得到答案10000，即16。显然不是结果。减1后二进制为111，再进行操作则会得到原来的数值1000，即8。通过一系列位运算大大提高效率。

那在什么地方会用到tableSizeFor方法呢？

答案就是在构造方法里面调用该方法来设置threshold，也就是容量阈值。

这里你可能又会有一个疑问：为什么要设置为threshold呢？

因为在扩容方法里第一次初始化table数组时会将threshold设置数组的长度，后续在讲扩容方法时再介绍。

/*传入初始容量和负载因子*/
public HashMap(int initialCapacity, float loadFactor) {

    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " +initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +loadFactor);

    this.loadFactor = loadFactor;
    this.threshold = tableSizeFor(initialCapacity);
}
那么为什么要把数组长度设计为2的幂次方呢？

我个人觉得这样设计有以下几个好处：

1、当数组长度为2的幂次方时，可以使用位运算来计算元素在数组中的下标

HashMap是通过index=hash&(table.length-1)这条公式来计算元素在table数组中存放的下标，就是把元素的hash值和数组长度减1的值做一个与运算，即可求出该元素在数组中的下标，这条公式其实等价于hash%length，也就是对数组长度求模取余，只不过只有当数组长度为2的幂次方时，hash&(length-1)才等价于hash%length，使用位运算可以提高效率。

2、 增加hash值的随机性，减少hash冲突

如果 length 为 2 的幂次方，则 length-1 转化为二进制必定是 11111……的形式，这样的话可以使所有位置都能和元素hash值做与运算，如果是如果 length 不是2的次幂，比如length为15，则length-1为14，对应的二进制为1110，在和hash 做与运算时，最后一位永远都为0 ，浪费空间。

扩容

HashMap每次扩容都是建立一个新的table数组，长度和容量阈值都变为原来的两倍，然后把原数组元素重新映射到新数组上，具体步骤如下：

  1. 首先会判断table数组长度，如果大于0说明已被初始化过，那么按当前table数组长度的2倍进行扩容，阈值也变为原来的2倍
  2. 若table数组未被初始化过，且threshold(阈值)大于0说明调用了HashMap(initialCapacity, loadFactor)构造方法，那么就把数组大小设为threshold
  3. 若table数组未被初始化，且threshold为0说明调用HashMap()构造方法，那么就把数组大小设为16，threshold设为16*0.75
  4. 接着需要判断如果不是第一次初始化，那么扩容之后，要重新计算键值对的位置，并把它们移动到合适的位置上去，如果节点是红黑树类型的话则需要进行红黑树的拆分。

这里有一个需要注意的点就是在JDK1.8 HashMap扩容阶段重新映射元素时不需要像1.7版本那样重新去一个个计算元素的hash值，而是通过hash & oldCap的值来判断，若为0则索引位置不变，不为0则新索引=原索引+旧数组长度，为什么呢？具体原因如下：

因为我们使用的是2次幂的扩展(指长度扩为原来2倍)，所以，元素的位置要么是在原位置，要么是在原位置再移动2次幂的位置。因此，我们在扩充HashMap的时候，不需要像JDK1.7的实现那样重新计算hash，只需要看看原来的hash值新增的那个bit是1还是0就好了，是0的话索引没变，是1的话索引变成“原索引+oldCap

这点其实也可以看做长度为2的幂次方的一个好处，也是HashMap 1.7和1.8之间的一个区别，具体源码如下：

/*扩容*/
final Node<K,V>[] resize() {
    Node<K,V>[] oldTab = table;
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    int oldThr = threshold;
    int newCap, newThr = 0;

    //1、若oldCap>0 说明hash数组table已被初始化
    if (oldCap > 0) {
        if (oldCap >= MAXIMUM_CAPACITY) {
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }//按当前table数组长度的2倍进行扩容，阈值也变为原来的2倍
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY && oldCap >= DEFAULT_INITIAL_CAPACITY)
            newThr = oldThr << 1;
    }//2、若数组未被初始化，而threshold>0说明调用了HashMap(initialCapacity)和HashMap(initialCapacity, loadFactor)构造器
    else if (oldThr > 0)
        newCap = oldThr;//新容量设为数组阈值
    else { //3、若table数组未被初始化，且threshold为0说明调用HashMap()构造方法
        newCap = DEFAULT_INITIAL_CAPACITY;//默认为16
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);//16*0.75
    }

    //若计算过程中，阈值溢出归零，则按阈值公式重新计算
    if (newThr == 0) {
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                  (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;
    //创建新的hash数组，hash数组的初始化也是在这里完成的
    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    table = newTab;
    //如果旧的hash数组不为空，则遍历旧数组并映射到新的hash数组
    if (oldTab != null) {
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;//GC
                if (e.next == null)//如果只链接一个节点，重新计算并放入新数组
                    newTab[e.hash & (newCap - 1)] = e;
                //若是红黑树，则需要进行拆分
                else if (e instanceof TreeNode)
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                else {
                    //rehash————>重新映射到新数组
                    Node<K,V> loHead = null, loTail = null;
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                    do {
                        next = e.next;
                        /*注意这里使用的是：e.hash & oldCap，若为0则索引位置不变，不为0则新索引=原索引+旧数组长度*/
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

在扩容方法里面还涉及到有关红黑树的几个知识点：

链表树化

指的就是把链表转换成红黑树，树化需要满足以下两个条件：

  • 链表长度大于等于8
  • table数组长度大于等于64

为什么table数组容量大于等于64才树化？

因为当table数组容量比较小时，键值对节点 hash 的碰撞率可能会比较高，进而导致链表长度较长。这个时候应该优先扩容，而不是立马树化。

红黑树拆分

拆分就是指扩容后对元素重新映射时，红黑树可能会被拆分成两条链表。

由于篇幅有限，有关红黑树这里就不展开了。

查找

HashMap的查找是非常快的，要查找一个元素首先得知道key的hash值，在HashMap中并不是直接通过key的hashcode方法获取哈希值，而是通过内部自定义的hash方法计算哈希值，我们来看看其实现：

static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}

(h = key.hashCode()) ^ (h >>> 16) 是为了让高位数据与低位数据进行异或，变相的让高位数据参与到计算中，int有 32 位，右移16位就能让低16位和高16位进行异或，也是为了增加hash值的随机性。

知道如何计算hash值后我们来看看get方法

public V get(Object key) {
    Node<K,V> e;
    return (e = getNode(hash(key), key)) == null ? null : e.value;//hash(key)不等于key.hashCode
}

final Node<K,V> getNode(int hash, Object key) {
    Node<K,V>[] tab; //指向hash数组
    Node<K,V> first, e; //first指向hash数组链接的第一个节点，e指向下一个节点
    int n;//hash数组长度
    K k;
    /*(n - 1) & hash ————>根据hash值计算出在数组中的索引index（相当于对数组长度取模，这里用位运算进行了优化）*/
    if ((tab = table) != null && (n = tab.length) > 0 && (first = tab[(n - 1) & hash]) != null) {
        //基本类型用==比较，其它用euqals比较
        if (first.hash == hash && ((k = first.key) == key || (key != null && key.equals(k))))
            return first;
        if ((e = first.next) != null) {
            //如果first是TreeNode类型，则调用红黑树查找方法
            if (first instanceof TreeNode)
                return ((TreeNode<K,V>)first).getTreeNode(hash, key);
            do {//向后遍历
                if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k))))
                    return e;
            } while ((e = e.next) != null);
        }
    }
    return null;
}

这里要注意的一点就是在HashMap中用 (n - 1) & hash 计算key所对应的索引index（相当于对数组长度取模，这里用位运算进行了优化），这点在上面已经说过了，就不再废话了。

插入

我们先来看看插入元素的步骤：

  1. 当table数组为空时，通过扩容的方式初始化table
  2. 通过计算键的hash值求出下标后，若该位置上没有元素(没有发生hash冲突)，则新建Node节点插入
  3. 若发生了hash冲突，遍历链表查找要插入的key是否已经存在，存在的话根据条件判断是否用新值替换旧值
  4. 如果不存在，则将元素插入链表尾部，并根据链表长度决定是否将链表转为红黑树
  5. 判断键值对数量是否大于阈值，大于的话则进行扩容操作

先看完上面的流程，再来看源码会简单很多，源码如下：

public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
}

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,boolean evict) {
    Node<K,V>[] tab;//指向hash数组
    Node<K,V> p;//初始化为table中第一个节点
    int n, i;//n为数组长度，i为索引

    //tab被延迟到插入新数据时再进行初始化
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    //如果数组中不包含Node引用，则新建Node节点存入数组中即可
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);//new Node<>(hash, key, value, next)
    else {
        Node<K,V> e; //如果要插入的key-value已存在，用e指向该节点
        K k;
        //如果第一个节点就是要插入的key-value，则让e指向第一个节点（p在这里指向第一个节点）
        if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k))))
            e = p;
        //如果p是TreeNode类型，则调用红黑树的插入操作（注意：TreeNode是Node的子类）
        else if (p instanceof TreeNode)
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else {
            //对链表进行遍历，并用binCount统计链表长度
            for (int binCount = 0; ; ++binCount) {
                //如果链表中不包含要插入的key-value，则将其插入到链表尾部
                if ((e = p.next) == null) {
                    p.next = newNode(hash, key, value, null);
                    //如果链表长度大于或等于树化阈值，则进行树化操作
                    if (binCount >= TREEIFY_THRESHOLD - 1)
                        treeifyBin(tab, hash);
                    break;
                }
                //如果要插入的key-value已存在则终止遍历，否则向后遍历
                if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k))))
                    break;
                p = e;
            }
        }
        //如果e不为null说明要插入的key-value已存在
        if (e != null) {
            V oldValue = e.value;
            //根据传入的onlyIfAbsent判断是否要更新旧值
            if (!onlyIfAbsent || oldValue == null)
                e.value = value;
            afterNodeAccess(e);
            return oldValue;
        }
    }
    ++modCount;
    //键值对数量超过阈值时，则进行扩容
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);//也是空函数？回调？不知道干嘛的
    return null;
}

从源码也可以看出table数组是在第一次调用put方法后才进行初始化的。

删除

HashMap的删除操作并不复杂，仅需三个步骤即可完成。

  1. 定位桶位置
  2. 遍历链表找到相等的节点
  3. 第三步删除节点
public V remove(Object key) {
    Node<K,V> e;
    return (e = removeNode(hash(key), key, null, false, true)) == null ? null : e.value;
}

final Node<K,V> removeNode(int hash, Object key, Object value,boolean matchValue, boolean movable) {
    Node<K,V>[] tab;
    Node<K,V> p;
    int n, index;
    //1、定位元素桶位置
    if ((tab = table) != null && (n = tab.length) > 0 && (p = tab[index = (n - 1) & hash]) != null) {
        Node<K,V> node = null, e;
        K k;
        V v;
        // 如果键的值与链表第一个节点相等，则将 node 指向该节点
        if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k))))
            node = p;
        else if ((e = p.next) != null) {
            // 如果是 TreeNode 类型，调用红黑树的查找逻辑定位待删除节点
            if (p instanceof TreeNode)
                node = ((TreeNode<K,V>)p).getTreeNode(hash, key);
            else {
                // 2、遍历链表，找到待删除节点
                do {
                    if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) {
                        node = e;
                        break;
                    }
                    p = e;
                } while ((e = e.next) != null);
            }
        }
        // 3、删除节点，并修复链表或红黑树
        if (node != null && (!matchValue || (v = node.value) == value || (value != null && value.equals(v)))) {
            if (node instanceof TreeNode)
                ((TreeNode<K,V>)node).removeTreeNode(this, tab, movable);
            else if (node == p)
                tab[index] = node.next;
            else
                p.next = node.next;
            ++modCount;
            --size;
            afterNodeRemoval(node);
            return node;
        }
    }
    return null;
}

注意：删除节点后可能破坏了红黑树的平衡性质，removeTreeNode方法会对红黑树进行变色、旋转等操作来保持红黑树的平衡结构，这部分比较复杂，感兴趣的小伙伴可看下面这篇文章：红黑树详解

遍历

在工作中HashMap的遍历操作也是非常常用的，也许有很多小伙伴喜欢用for-each来遍历，但是你知道其中有哪些坑吗？

看下面的例子，当我们在遍历HashMap的时候，若使用remove方法删除元素时会抛出ConcurrentModificationException异常

    Map<String, Integer> map = new HashMap<>();
        map.put("1", 1);
        map.put("2", 2);
        map.put("3", 3);
        for (String s : map.keySet()) {
            if (s.equals("2"))
                map.remove("2");
        }

这就是常说的fail-fast(快速失败)机制，这个就需要从一个变量说起

transient int modCount;

在HashMap中有一个名为modCount的变量，它用来表示集合被修改的次数，修改指的是插入元素或删除元素，可以回去看看上面插入删除的源码，在最后都会对modCount进行自增。

当我们在遍历HashMap时，每次遍历下一个元素前都会对modCount进行判断，若和原来的不一致说明集合结果被修改过了，然后就会抛出异常，这是Java集合的一个特性，我们这里以keySet为例，看看部分相关源码：

public Set<K> keySet() {
    Set<K> ks = keySet;
    if (ks == null) {
        ks = new KeySet();
        keySet = ks;
    }
    return ks;
}

final class KeySet extends AbstractSet<K> {
    public final Iterator<K> iterator()     { return new KeyIterator(); }
    // 省略部分代码
}

final class KeyIterator extends HashIterator implements Iterator<K> {
    public final K next() { return nextNode().key; }
}

/*HashMap迭代器基类，子类有KeyIterator、ValueIterator等*/
abstract class HashIterator {
    Node<K,V> next;        //下一个节点
    Node<K,V> current;     //当前节点
    int expectedModCount;  //修改次数
    int index;             //当前索引
    //无参构造
    HashIterator() {
        expectedModCount = modCount;
        Node<K,V>[] t = table;
        current = next = null;
        index = 0;
        //找到第一个不为空的桶的索引
        if (t != null && size > 0) {
            do {} while (index < t.length && (next = t[index++]) == null);
        }
    }
    //是否有下一个节点
    public final boolean hasNext() {
        return next != null;
    }
    //返回下一个节点
    final Node<K,V> nextNode() {
        Node<K,V>[] t;
        Node<K,V> e = next;
        if (modCount != expectedModCount)
            throw new ConcurrentModificationException();//fail-fast
        if (e == null)
            throw new NoSuchElementException();
        //当前的链表遍历完了就开始遍历下一个链表
        if ((next = (current = e).next) == null && (t = table) != null) {
            do {} while (index < t.length && (next = t[index++]) == null);
        }
        return e;
    }
    //删除元素
    public final void remove() {
        Node<K,V> p = current;
        if (p == null)
            throw new IllegalStateException();
        if (modCount != expectedModCount)
            throw new ConcurrentModificationException();
        current = null;
        K key = p.key;
        removeNode(hash(key), key, null, false, false);//调用外部的removeNode
        expectedModCount = modCount;
    }
}

相关代码如下，可以看到若modCount被修改了则会抛出ConcurrentModificationException异常。

if (modCount != expectedModCount)
            throw new ConcurrentModificationException();

那么如何在遍历时删除元素呢？

我们可以看看迭代器自带的remove方法，其中最后两行代码如下：

removeNode(hash(key), key, null, false, false);//调用外部的removeNode
expectedModCount = modCount;

意思就是会调用外部remove方法删除元素后，把modCount赋值给expectedModCount，这样的话两者一致就不会抛出异常了，所以我们应该这样写：

Map<String, Integer> map = new HashMap<>();
        map.put("1", 1);
        map.put("2", 2);
        map.put("3", 3);
        Iterator<String> iterator = map.keySet().iterator();
        while (iterator.hasNext()){
            if (iterator.next().equals("2"))
                iterator.remove();
        }

这里还有一个知识点就是在遍历HashMap时，我们会发现遍历的顺序和插入的顺序不一致，这是为什么？

在HashIterator源码里面可以看出，它是先从桶数组中找到包含链表节点引用的桶。然后对这个桶指向的链表进行遍历。遍历完成后，再继续寻找下一个包含链表节点引用的桶，找到继续遍历。找不到，则结束遍历。这就解释了为什么遍历和插入的顺序不一致，不懂的同学请看下图：

equasl和hashcode

为什么添加到HashMap中的对象需要重写equals()和hashcode()方法？

简单看个例子，这里以Person为例：

public class Person {
    Integer id;
    String name;

    public Person(Integer id, String name) {
        this.id = id;
        this.name = name;
    }

    @Override
    public boolean equals(Object obj) {
        if (obj == null) return false;
        if (obj == this) return true;
        if (obj instanceof Person) {
            Person person = (Person) obj;
            if (this.id == person.id)
                return true;
        }
        return false;
    }

    public static void main(String[] args) {
        Person p1 = new Person(1, "aaa");
        Person p2 = new Person(1, "bbb");
        HashMap<Person, String> map = new HashMap<>();
        map.put(p1, "这是p1");
        System.out.println(map.get(p2));
    }
}
  • 原生的equals方法是使用==来比较对象的
  • 原生的hashCode值是根据内存地址换算出来的一个值

Person类重写equals方法来根据id判断是否相等，当没有重写hashcode方法时，插入p1后便无法用p2取出元素，这是因为p1和p2的哈希值不相等。

HashMap插入元素时是根据元素的哈希值来确定存放在数组中的位置，因此HashMap的key需要重写equals和hashcode方法。

总结

本文描述了HashMap的实现原理，并结合源码做了进一步的分析，后续有空的话会聊聊有关HashMap的线程安全问题，希望本篇文章能帮助到大家，同时也欢迎讨论指正，谢谢支持！

原文地址：https://www.cnblogs.com/daannalidaan/p/12597243.html

时间： 2024-10-02 01:23:29

一文看懂HashMap的相关文章

一文看懂命令行参数的用法——Python中的getopt神器

一文看懂命令行参数的用法--Python中的getopt神器 参考原文:Python模块之命令行参数解析 - 每天进步一点点!!! - 博客园 https://www.cnblogs.com/madsnotes/articles/5687079.htmlpython getopt使用 - tianzhu123的专栏 - CSDN博客 https://blog.csdn.net/tianzhu123/article/details/7655499在运行程序时,可能需要根据不同的条件,输入不同的命令

[转帖]一文看懂mysql数据库本质及存储引擎innodb+myisam

一文看懂mysql数据库本质及存储引擎innodb+myisam https://www.toutiao.com/i6740201316745740807/ 原创 波波说运维 2019-09-29 00:01:00 概述 今天主要讲下mysql数据库引擎的一些概念和mysql数据库本质,一句话总结: 文件夹-文件:一个数据库其实就是一个的文件夹,数据库里面的表就是文件夹里的一个或者多个文件(根据数据库引擎不同而不同,MyISAM是3个,InnoDB是2.5个) mysql的数据库其实就是存放在M

一文看懂java io系统 (转)

出处:  一文看懂java io系统 学习java IO系统,重点是学会IO模型,了解了各种IO模型之后就可以更好的理解java IO Java IO 是一套Java用来读写数据(输入和输出)的API.大部分程序都要处理一些输入,并由输入产生一些输出.Java为此提供了java.io包 java中io系统可以分为Bio,Nio,Aio三种io模型 关于Bio,我们需要知道什么是同步阻塞IO模型,Bio操作的对象:流,以及如何使用Bio进行网络编程,使用Bio进行网络编程的问题 关于Nio,我们需

一文看懂大数据的技术生态圈

大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. 大数据,首先你要能存的下大数据. 传统的文件系统是单机的,不能横跨不同的机器.HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据

从概念到底层技术，一文看懂区块链架构设计

转自:http://www.8btc.com/ebook-blockchain https://blog.csdn.net/lucky_greenegg/article/details/52821924 前言 区块链作为一种架构设计的实现,与基础语言或平台等差别较大.区块链是加密货币背后的技术,是当下与VR虚拟现实等比肩的热门技术之一,本身不是新技术,类似Ajax,可以说它是一种技术架构,所以我们从架构设计的角度谈谈区块链的技术实现. 无论你擅长什么编程语言,都能够参考这种设计去实现一款区块链产

一文看懂 K8s 日志系统设计和实践

上一篇中我们介绍了为什么需要一个日志系统.为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps.SRE.运维等同学看了是深有体会的.本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活.功能强大.可靠.可扩容的日志系统. 需求驱动架构设计 技术架构,是将产品需求转变为技术实现的过程.对于所有的架构师而言,能够将产品需求分析透彻是非常基本也是非常重要的一点.很多系统刚建成没多久就要被推翻,最根本的原因还是没有解决好产品真正的需求. 我所在的日志服务团队

一文看懂Kafka消息格式的演变

摘要 对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化.随着Kafka的迅猛发展,其消息格式也在不断的升级改进,从0.8.x版本开始到现在的1.1.x版本,Kafka的消息格式也经历了3个版本.本文这里主要来讲述Kafka的三个版本的消息格式的演变,文章偏长,建议先关注后鉴定. Kafka根据topic(主题)对消息进行分类,发布到Kafka集群的每条消息都需要指定一个topic,每个topic将被分为多个partition(分区).每个partition在

一文看懂 Github

GitHub 介绍 GitHub 是为开发者构建的一个开发平台.GitHub 是一个受开发者工作方式启发的开发平台,从开源到商业,能够在上面进行托管和查看代码.管理项目和数百万其他开发人员一起开发软件.GitHub 提供免费账户和付费账户,免费账户只能创建开源的项目,付费账户可以创建私有项目.对学生有一定的福利,如果你是学生的话,可以用学校分配的邮箱在官网进行申请,申请通过之后,也能够创建私有项目. 要完成本教程,你需要一个 GitHub 帐户,可以在官网进行注册. 下面将分别介绍 GitHub

【转发】一文看懂python主要应用领域或应用场景

转发来源: http://www.elecfans.com/d/644370.html Python简介 Python(英国发音:/?pa?θ?n/美国发音:/?pa?θɑ?n/),是一种面向对象的解释型计算机程序设计语言,由荷兰人GuidovanRossum于1989年发明,第一个公开发行版发行于1991年. Python是纯粹的自由软件,源代码和解释器CPython遵循GPL(GNUGeneralPublicLicense)协议.Python语法简洁清晰,特色之一是强制用空白符(whites