Go Slice 最大容量大小是怎么来的

maybe_009 发布于2019-07-01 11:09 / 1049人阅读

摘要：会根据对应的类型大小去查找表查找索引索引为类型大小，摆放顺序是有考虑原因的。

原文地址：Go Slice 最大容量大小是怎么来的

前言

在《深入理解 Go Slice》中，我们提到了 “根据其类型大小去获取能够申请的最大容量大小” 的处理逻辑。今天我们将更深入地去探究一下，底层到底做了什么东西，涉及什么知识点？

Go Slice 对应代码如下：

func makeslice(et *_type, len, cap int) slice {
    maxElements := maxSliceCap(et.size)
    if len < 0 || uintptr(len) > maxElements {
        ...
    }

    if cap < len || uintptr(cap) > maxElements {
        ...
    }

    p := mallocgc(et.size*uintptr(cap), et, true)
    return slice{p, len, cap}
}

根据想要追寻的逻辑，定位到了 maxSliceCap 方法，它会根据当前类型的大小获取到了所允许的最大容量大小来进行阈值判断，也就是安全检查。这是浅层的了解，我们继续追下去看看还做了些什么？

maxSliceCap

func maxSliceCap(elemsize uintptr) uintptr {
    if elemsize < uintptr(len(maxElems)) {
        return maxElems[elemsize]
    }
    return maxAlloc / elemsize
}

maxElems

var maxElems = [...]uintptr{
    ^uintptr(0),
    maxAlloc / 1, maxAlloc / 2, maxAlloc / 3, maxAlloc / 4,
    maxAlloc / 5, maxAlloc / 6, maxAlloc / 7, maxAlloc / 8,
    maxAlloc / 9, maxAlloc / 10, maxAlloc / 11, maxAlloc / 12,
    maxAlloc / 13, maxAlloc / 14, maxAlloc / 15, maxAlloc / 16,
    maxAlloc / 17, maxAlloc / 18, maxAlloc / 19, maxAlloc / 20,
    maxAlloc / 21, maxAlloc / 22, maxAlloc / 23, maxAlloc / 24,
    maxAlloc / 25, maxAlloc / 26, maxAlloc / 27, maxAlloc / 28,
    maxAlloc / 29, maxAlloc / 30, maxAlloc / 31, maxAlloc / 32,
}

maxElems 是包含一些预定义的切片最大容量值的查找表，索引是切片元素的类型大小。而值看起来 “奇奇怪怪” 不大眼熟，都是些什么呢。主要是以下三个核心点：

^uintptr(0)

maxAlloc

maxAlloc / typeSize

^uintptr(0)

func main() {
    log.Printf("uintptr: %v
", uintptr(0))
    log.Printf("^uintptr: %v
", ^uintptr(0))
}

输出结果：

2019/01/05 17:51:52 uintptr: 0
2019/01/05 17:51:52 ^uintptr: 18446744073709551615

我们留意一下输出结果，比较神奇。取反之后为什么是 18446744073709551615 呢？

uintptr 是什么

在分析之前，我们要知道 uintptr 的本质（真面目），也就是它的类型是什么，如下：

type uintptr uintptr

uintptr 的类型是自定义类型，接着找它的真面目，如下：

#ifdef _64BIT
typedef    uint64        uintptr;
#else
typedef    uint32        uintptr;
#endif

通过对以上代码的分析，可得出以下结论：

在 32 位系统下，uintptr 为 uint32 类型，占用大小为 4 个字节

在 64 位系统下，uintptr 为 uint64 类型，占用大小为 8 个字节

^uintptr 做了什么事

^ 位运算符的作用是按位异或，如下：

func main() {
    log.Println(^1)
    log.Println(^uint64(0))
}

输出结果：

2019/01/05 20:44:49 -2
2019/01/05 20:44:49 18446744073709551615

接下来我们分析一下，这两段代码都做了什么事情呢

二进制：0001

按位取反：1110

该数为有符号整数，最高位为符号位。低三位为表示数值。按位取反后为 1110，根据先前的说明，最高位为 1，因此表示为 -。取反后 110 对应十进制 -2

^uint64(0)

二进制：0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000

按位取反：1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111

该数为无符号整数，该位取反后得到十进制值为：18446744073709551615

这个值是不是看起来很眼熟呢？没错，就是 ^uintptr(0) 的值。也印证了其底层数据类型为 uint64 的事实（本机为 64 位）。同时它又代表如下：

math.MaxUint64

2 的 64 次方减 1

maxAlloc

const GoarchMips = 0
const GoarchMipsle = 0
const GoarchWasm = 0

...

_64bit = 1 << (^uintptr(0) >> 63) / 2

heapAddrBits = (_64bit*(1-sys.GoarchWasm))*48 + (1-_64bit+sys.GoarchWasm)*(32-(sys.GoarchMips+sys.GoarchMipsle))

maxAlloc = (1 << heapAddrBits) - (1-_64bit)*1

maxAlloc 是允许用户分配的最大虚拟内存空间。在 64 位，理论上可分配最大 1 << heapAddrBits 字节。在 32 位，最大可分配小于 1 << 32 字节

在本文，仅需了解它承载的是什么就好了。具体的在以后内存管理的文章再讲述

注：该变量在 go 10.1 为 _MaxMem，go 11.4 已改为 maxAlloc。相关的 heapAddrBits 计算方式也有所改变

maxAlloc / typeSize

我们再次回顾 maxSliceCap 的逻辑代码，这次重点放在控制逻辑，如下：

// func makeslice
maxElements := maxSliceCap(et.size)

...

// func maxSliceCap
if elemsize < uintptr(len(maxElems)) {
    return maxElems[elemsize]
}
return maxAlloc / elemsize

通过这段代码和 Slice 上下文逻辑，可得知在想得到该类型的最大容量大小时。会根据对应的类型大小去查找表查找索引（索引为类型大小，摆放顺序是有考虑原因的）。“迫不得已的情况下” 才会手动的计算它的值，最终计算得到的内存字节大小都为该类型大小的整数倍

查找表的设置，更像是一个优化逻辑。减少常用的计算开销 :)

总结

通过本文的分析，可得出 Slice 所允许申请的最大容量大小，与当前值类型和当前平台位数有直接关系

最后

本文与《有点不安全却又一亮的 Go unsafe.Pointer》一同属于《深入理解 Go Slice》的关联章节。如果你在阅读源码时，对这些片段有疑惑。记得想尽办法深究下去，搞懂它

短短的一句话其实蕴含着不少知识点，希望这篇文章恰恰好可以帮你解惑

注：本文 Go 代码基于版本 11.4

混合云超融合服务器超融合分布式存储最大容量是多少? 大数据是怎么来的数据分析的数据是怎么来的 go 读取linux硬盘容量

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/29895.html

golang学习笔记（一）——golang基础和相关数据结构

摘要：小白前端一枚，最近在研究，记录自己学习过程中的一些笔记，以及自己的理解。此外，结构体也支持嵌套。在函数声明时，在函数名前放上一个变量，这个变量称为方法的接收器，一般是结构体类型的。小白前端一枚，最近在研究golang，记录自己学习过程中的一些笔记，以及自己的理解。 go中包的依赖管理 go中的切片 byte 和 string go中的Map go中的struct结构体 go中的方...

lyning 2019-08-26 13:27 评论0 收藏0
PHP转Go系列：数组与切片

摘要：以上是数组在语言中的定义方法，代表数组长度为，是数组中元素的类型，花括号中的是数组元素，切记元素个数与类型一定要与前面声明的相符，否则会报错。数组元素的删除在中删除数组元素非常简单，直接即可，以下代码是删除第二个元素。数组的定义用过PHP的同学应该很清楚，无论多么复杂的数据格式都可以用数组来表达，什么类型的数据都可以往里塞，它是工作必备的一部分，使用很简单，易用程度简直变态。 $a...

yuxue 2019-07-01 13:57 评论0 收藏0
深入理解 Go map：赋值和扩容迁移

摘要：我相信这样你能更好的读懂这篇文章原文地址深入理解赋值和扩容迁移哈希函数哈希函数，又称散列算法散列函数。而一个好的哈希函数，应当尽量少的出现哈希冲突，以此保证操作哈希表的时间复杂度但是哈希冲突在目前来讲，是无法避免的。概要在上一章节中，数据结构小节里讲解了大量基础字段，可能你会疑惑需要 #&（！……#（！￥！来干嘛？接下来我们一起简单了解一下基础概念。再开始研讨今天文章的重点内...

wudengzan 2019-07-01 12:36 评论0 收藏0
go实现LRU cache

摘要：简介概述缓存资源通常比较昂贵通常数据量较大时会竟可能从较少的缓存满足尽可能多访问这里有一种假设通常最近被访问的数据那么它就有可能会被后续继续访问基于这种假设将所有的数据按访问时间进行排序并按驱逐出旧数据那么存在缓存的数据就为热点数据这样既节 1. LRU简介 1.1 概述缓存资源通常比较昂贵,通常数据量较大时,会竟可能从较少的缓存满足尽可能多访问,这里有一种假设,通常最近被访问的数据...

Jackwoo 2019-08-06 13:31 评论0 收藏0
Netty ByteBuf

摘要：主要用来检测对象是否泄漏。子类实现相关的方法是否支持数组，判断缓冲区的实现是否基于字节数组如果缓冲区的实现基于字节数组，返回字节数组 ByteBuf ByteBuf需要提供JDK ByteBuffer的功能(包含且不限于)，主要有以下几类基本功能： 7种Java基础类型、byte[]、ByteBuffer(ByteBuf)的等的读写缓冲区自身的copy和slice 设置网络字节序 ...

meislzhua 2019-08-16 13:48 评论0 收藏0