HashMap加载因子及转红黑树探究

HashMap加载因子及转红黑树探究

HashMap探究(二)

今天我们来探究下:负载因子为什么是0.75?为什么红黑树扩容是当链表长度>=8时扩容?Java7的hashmap扩容死锁演示与环链形成分析?

负载因子为什么是0.75?

我们先来看看源码:在构造函数中未指定时使用的加载因子

    /**
     * The load factor used when none specified in constructor.
     */
    static final float DEFAULT_LOAD_FACTOR = 0.75f;

我们知道,最理想的情况就是,当我们put进来的元素刚好平铺在数组上,而不产生链表,尽量不产生Hash碰撞。但是我们明白这种情况只是理想化的,是难以实现的。

那么我们反证一下:当我们将负载因子不定为0.75的时候(两种情况):

1、 假如负载因子定为1(最大值),那么只有当元素填慢数组长度的时候才会选择去扩容,虽然负载因子定为1可以最大程度的提高空间的利用率,但是我们的查询效率会变得低下(因为链表查询比较慢)

结论:所以当加载因子比较大的时候:节省空间资源,耗费时间资源

2、加入负载因子定为0.5(一个比较小的值),也就是说,知道到达数组空间的一半的时候就会去扩容。虽然说负载因子比较小可以最大可能的降低hash冲突,链表的长度也会越少,但是空间浪费会比较大

结论:所以当加载因子比较小的时候:节省时间资源,耗费空间资源

但是我们设计程序的时候肯定是会在空间以及时间上做平衡,那么我们能就需要在时间复杂度和空间复杂度上做折中,选择最合适的负载因子以保证最优化。所以就选择了0.75这个值,Jdk那帮工程师一定是做了大量的测试,得出的这个值吧~

为什么红黑树扩容是当链表长度>=8时扩容

看源码:当链表数量大于8时转化为树

    /**
     * The bin count threshold for using a tree rather than list for a
     * bin.  Bins are converted to trees when adding an element to a
     * bin with at least this many nodes. The value must be greater
     * than 2 and should be at least 8 to mesh with assumptions in
     * tree removal about conversion back to plain bins upon
     * shrinkage.
     * 树阈值 = 8;
     */
    static final int TREEIFY_THRESHOLD = 8;

泊松分布

当我们在put一个元素,产生hash冲突的时候,会遵循泊松分布(通过概率学统计出来)的规则;

泊松分布公式:(exp(-0.5) * pow(0.5, k)

泊松分布图:

20191016101556.png

意思就是说,当负载因子为0.75的时候,还有当链表的长度的增加。如果再添加新的节点进链表的时候,这个添加进当前链表概率是随着节点的增加而越来越少(泊松分布)。JDK源码中有这样的解释:

20191016101802.png

也就是说,当put进来一个元素,通过hash算法,然后最后定位到同一个桶(链表)的概率会随着链表的长度的增加而减少,当这个链表长度为8的时候,这个概率几乎接近于0,所以我们才会将链表转红黑树的临界值定为8

当然,虽然在hashmap底层有这种红黑树的结构,但是我们要知道能产生这种结构的概率也不大,所以我们知道在 JDK1.7 到 JDK1.8 这其中HashMap的性能只提高了 7%-8% 左右,提高的并不多。

Java7的hashmap扩容死锁演示与环链形成分析

Java7的hashmap扩容死锁演示与环链形成分析
我们首先来看一下JDK1.7中put方法的源码

20191016110941.png

我们打开addEntry方法如下,它会判断数组当前容量是否已经超过的阈值,例如假设当前的数组容量是16,加载因子为0.75,即超过了12,并且刚好要插入的索引处有元素,这时候就需要进行扩容操作,可以看到resize扩容大小是原数组的两倍,仍然符合数组的长度是2的指数次幂

20191016111020.png

我们再进入resize方法如下,它首先会对之前的数组容量进行判断,看是否已经达到了数组最大容量,如果没有,后面会进行数组的转移操作,即transfer方法
在这里插入图片描述
JDK1.7中,当数组容量达到16*0.75=12的时候,数组就需要扩容,在扩容的时候,我们都知道会涉及元素的迁移,那么下面代码就是元素迁移的主要代码:JDK1.7中HashMap存在死锁问题的原因也主要集中在这

    //将老的表中的数据拷贝到新的结构中  
    void transfer(Entry[] newTable, boolean rehash) {  
        int newCapacity = newTable.length;//容量  
        for (Entry<K,V> e : table) { //遍历所有桶:即数组
            while(null != e) {  //遍历桶中所有元素(是一个链表)
                Entry<K,V> next = e.next;  
                if (rehash) {//如果是重新Hash,则需要重新计算hash值  
                    e.hash = null == e.key ? 0 : hash(e.key);  
                }  
                int i = indexFor(e.hash, newCapacity);//定位Hash桶  
                e.next = newTable[i];//元素连接到桶中,这里相当于单链表的插入,总是插入在最前面
                newTable[i] = e;//newTable[i]的值总是最新插入的值
                e = next;//继续下一个元素  
            }  
        }  
    }  

我们将重新记算hash值的逻辑先去掉(回顾:为什么使用位运算而不使用取模运算:因为位运算效率高,取模运算效率低,在数组迁移的时候会进行重hash,如果效率不高会极大的影响put的效率)。只留下主要的迁移数组的代码:

for (Entry<K,V> e : table) { //遍历所有桶
    while(null != e) {  //遍历桶中所有元素(是一个链表)
        Entry<K,V> next = e.next;

        e.next = newTable[i];//元素连接到桶中,这里相当于单链表的插入,总是插入在最前面
        newTable[i] = e;//newTable[i]的值总是最新插入的值
        e = next;//继续下一个元素  
    }
} 

举例:

假设有两个线程,两个线程都对这个hashmap进行扩容,扩容就要执行数组迁移代码。

假设线程T2先来对数组进行迁移,当线程而二执行到Entry<K,V> next = e.next的时候,然后线程T2突然阻塞了;

20191016102631.png

外层for循环来遍历数组的,当数组的值不是空的时候就进入内层的while循环去遍历链表,假设线程T2两个指针(一个叫做e2,一个叫做next2),当遍历到这个结点的时候:e2表示的就是大狂神这个节点,next2表示e2的下一个节点,也就是佩雨的这个节点;

20191016102841.png

然后刚好线程T1也跑进啦这个逻辑里面了,那么线程T1也有两个指针(e,next),e也指向的是大狂神,next也指向的是佩雨

20191016103014.png

T1线程继续跑这个逻辑(下面是T1线程自己的扩容与迁移图),会继续转移这个链表,转移完成之后发现一个问题:转移过去后两个节点的上下位置反了(大狂神和佩雨已经反了)

20191016103721.png

然后T2这个时候又唤醒了,因为线程T2一直都是指向这两个元素的(e2–>大狂神,next–>佩雨),也就是成下图这样

20191016104025.png

然后T2也要去循环执行这个逻辑

        e.next = newTable[i];//元素连接到桶中,这里相当于单链表的插入,总是插入在最前面
        newTable[i] = e;//newTable[i]的值总是最新插入的值
        e = next;//继续下一个元素  

最后会产生这样的情况,就是最终会形成一个环

20191016104251.png

Java8中的HashMap扩容优化(不会出现死环)

JDK1.8中HashMap扩容的代码

    final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        int oldThr = threshold;
        int newCap, newThr = 0;
        if (oldCap > 0) {
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                newThr = oldThr << 1; // double threshold
        }
        else if (oldThr > 0) // initial capacity was placed in threshold
            newCap = oldThr;
        else {               // zero initial threshold signifies using defaults
            newCap = DEFAULT_INITIAL_CAPACITY;
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        if (newThr == 0) {
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
        threshold = newThr;
        @SuppressWarnings({"rawtypes","unchecked"})
            Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
        table = newTab;
        if (oldTab != null) {
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    else { // preserve order
                        Node<K,V> loHead = null, loTail = null;
                        Node<K,V> hiHead = null, hiTail = null;
                        Node<K,V> next;
                        do {
                            next = e.next;
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }

当我们对数组进行迁移的时候,这里面定义了两组指针,分别是高位和低位的头和尾

    HashMap.Node<K,V> loHead = null, loTail = null;
    HashMap.Node<K,V> hiHead = null, hiTail = null;

然后用当前节点的hash值和旧数组的长度(16)做’与’运算

    if ((e.hash & oldCap) == 0) {
        if (loTail == null)
            loHead = e;
        else
            loTail.next = e;
        loTail = e;
    }

分析:

hash值:           0010 1111 1010 1110
数组的长度(16)     0000 0000 0000 1000

‘与’运算的结果,只可能有两种值:
0000 0000 0000 0000---------------0
0000 0000 0000 1000---------------16
也就是说当前节点用当前节点的hash值和旧数组的长度(16)做'与'运算的结果只可能是016

用当前节点的hash值和旧数组的长度(16)做’与’运算,结果出来如果时0就是低位指针,如果是16就是高位指针,那么我们再看:

    // 如果是0,则使用低位的指针
    if ((e.hash & oldCap) == 0) {
        if (loTail == null)
            loHead = e;
        else
            loTail.next = e;
        loTail = e;
    } else {  // 如果是16,则使用高位的指针
        if (hiTail == null)
            hiHead = e;
        else
            hiTail.next = e;
        hiTail = e;
    }

如果说 ‘与’ 出来的值是0,那么就会用低位的指针去迁移该数组。如果判断出来的是16,就会用高位的指针去迁移。

那么我们的最终的指针就会成下面的样子:

20191016104252.png

然后就开始迁移

低位迁移:首先:先将高位和低位断开(将低位的尾部的next置为空)

if (loTail != null) {
    //把低位的尾部节点的next值为空(先将高位和低位断开)
    loTail.next = null;
    newTab[j] = loHead;
}
if (hiTail != null) {
    hiTail.next = null;
    newTab[j + oldCap] = hiHead;
}

就成下面这样了:

20191016105439.png

紧接着将低位的头部loHead付给新数组的某个值,也就是将低位的所有节点移动过去,并且放在与就索引相同的位置;

if (loTail != null) {
    //把低位的尾部节点的next值为空(先将高位和低位断开)
    loTail.next = null;
    newTab[j] = loHead; //将高位的头部赋给新数组的某个值,也就是将高位的所有节点移动过去
}
if (hiTail != null) {
    hiTail.next = null;
    newTab[j + oldCap] = hiHead;
}

20191016110342.png

高位迁移:先将高位的尾部断开

if (loTail != null) {
    //把低位的尾部节点的next值为空(先将高位和低位断开)
    loTail.next = null;
    newTab[j] = loHead; //将高位的头部赋给新数组的某个值,也就是将高位的所有节点移动过去
}
if (hiTail != null) {
    hiTail.next = null; //把高位的尾部节点的next值为空
    newTab[j + oldCap] = hiHead;
}

再将高位的头部放到新数组的j + oldCap索引处(当前索引+旧数组的长度),比如说现在的索引是3,再加上数组长度16,最后就是将高位放到新数组的索引为19的地方去;

20191016110700.png

然后我们发现这个设计非常的巧妙,避免了顺序的颠倒,再也不会出现狂神和佩雨颠倒的问题了

总结

在JDK1.8之后,HashMap底层的数组扩容后迁移的方法进行了优化。把一个链表分成了两组,分成高为和低位分别去迁移,避免了死环问题。而且在迁移的过程中并没有进行任何的rehash(重新记算hash),提高了性能。它是直接将链表给断掉,进行几乎是一个均等的拆分,然后通过头指针的指向将整体给迁移过去,这样就减小了链表的长度


版权声明:本文为refuse_debug原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。