资讯专栏INFORMATION COLUMN

如何优化Docker储存

Amio / 975人阅读

摘要:修改配置文件在的配置文件最后一行的末尾添加,添加完之后的配置为重启服务重启的命令如下。修改后的结果如下启动服务删除源文件以上就是储存的优化方案,希望对您能够有所帮助,更好的使用容器技术。

各位同学,大家在使用Docker的过程中,有没有想过,Docker在本地存储镜像时把文件存储在哪里了呢?有没有对文件的总大小做一定的限制呢?能不能调整本地存储的位置及总限制大小呢?今天,我们就从这些问题入手,来讨论一下Docker的存储优化方案。
一、Docker的默认存储策略
Docker提供了查看配置信息的命令,即docker info命令,通过该命令可以查看Docker的各种系统层面的信息,如当前运行的容器数、镜像数、Docker版本等信息,其中就包括了存储信息。
我们输入docker info命令后,可得到类似如下的内容:
Storage Driver: devicemapper
Pool Name: docker-253:2-923803-pool
Pool Blocksize: 65.54 kB
Base Device Size: 10.74 GB
Backing Filesystem: xfs
Data file: /dev/loop0
Metadata file: /dev/loop1
Data Space Used: 12.9 GB
Data Space Total: 107.4 GB
Data Space Available: 19.75 GB
Metadata Space Used: 21.77 MB
Metadata Space Total: 2.147 GB
Metadata Space Available: 2.126 GB
Thin Pool Minimum Free Space: 10.74 GB
Udev Sync Supported: true
Deferred Removal Enabled: false
Deferred Deletion Enabled: false
Deferred Deleted Device Count: 0
Data loop file: /var/lib/docker/devicemapper/devicemapper/data
WARNING: Usage of loopback devices is strongly discouraged for production use. Use `--storage-opt
dm.thinpooldev` to specify a custom block storage device.
Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
Library Version: 1.02.140-RHEL7 (2017-05-03)
其中,Data Space Total 即默认的最大储存空间,约为100G;Data loop file即默认的镜像存储路径,可以看到默认设置在/var/lib/docker路径下。
值得一提的是,存储目录下的devicemapper/devicemapper/data文件是docker创建的稀疏文件,该文件在创建时即指定了大小,未真正使用的部分被系统由0填充,并且在磁盘统计时不计入使用磁盘大小。同时,该文件的大小即为Docker的最大储存空间。
-rw------- 1 root root 100G Nov 8 10:11 data
根据实际情况,有时需要扩大或者缩小Docker的最大储存空间,下面介绍一下具体的方法,并测试Docker的最大储存空间过小,对于Docker的影响,以及相关的建议。
二、修改存储位置及储存空间
一般情况下,Docker的配置文件的位置为:
/etc/systemd/system/docker.service.d/docker.conf
若无此文件可手动创建。此文件的内容可参照如下配置填写:
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd --storage-driver=devicemapper --insecure-registry 0.0.0.0/0 --registry-mirror http://dockerhub.yonyou.com -g /data/docker/
其中,利用-g参数即可指定存储挂载路径。比如,示例中的配置将存储目录挂载在/data/docker/路径下。
若想修改Docker的最大储存空间,也需要通过修改此配置文件实现。
扩大存储空间
扩大Docker的最大储存空间,直接修改配置文件即可。假设需要将Docker的最大储存空间扩大到200G,则具体的方法为:
1、停止docker服务
停止docker服务的命令如下。
systemctl stop docker
2、修改配置文件
在Docker的配置文件最后一行的末尾添加——storage-opt dm.loopdatasize=200G,添加完之后的配置为:
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd --storage-driver=devicemapper --insecure-registry 0.0.0.0/0 --registry-mirror http://dockerhub.yonyou.com -g /data/docker/ --storage-opt dm.loopdatasize=200G
3、重启docker服务
重启docker的命令如下。
systemctl daemon-reload && systemctl start docker
重启之后,查看Docker的最大储存空间:

Data Space Used: 1.09 GB
Data Space Total: 214.7 GB
Data Space Available: 22.36 GB
Metadata Space Used: 1.753 MB
Metadata Space Total: 2.147 GB
Metadata Space Available: 2.146 GB

Data loop file:/data/docker/devicemapper/devicemapper/data
可以看到,最大存储空间的配置已经生效,当前约为200G.
我们在配置中同时配置了挂载目录,可以看到,当前docker的存储文件也改变至/data/docker目录下。
缩小存储空间
我们首先想要提醒您的是,缩小Docker存储空间需要清空Docker的工作目录才能生效,清空Docker的工作目录会导致所有数据丢失。一定要确认本地所有镜像均已备份或可丢弃后,才可进行缩小存储空间操作。
假设要将Docker的最大储存空间缩小为50G,具体的方法为:
1、停止docker服务
同样的,先使用命令停止docker服务。
systemctl stop docker
2、修改配置文件
在Docker的配置文件最后一行的末尾添加——storage-opt dm.loopdatasize=50G,添加完之后的配置为:
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd --storage-driver=devicemapper --insecure-registry 0.0.0.0/0 --registry-mirror http://dockerhub.yonyou.com -g /data/docker/ --storage-opt dm.loopdatasize=50G
3、删除Docker的工作目录
请再次注意,清空Docker的工作目录会导致所有数据丢失,包括在本地保存的所有Docker镜像。
rm -rf /data/docker
4、重启docker服务
systemctl daemon-reload && systemctl start docker
重启之后,查看Docker的最大储存空间:
Data Space Used: 11.8 MB
Data Space Total: 53.69 GB
Data Space Available: 23.44 GB
可以看到,docker的存储空间已缩小至50G左右。
那么我们可以思考一下,如果Docker的储存空间过小,会对我们使用Docker产生什么样的影响呢?
储存空间过小的影响
为了测试Docker的最大储存空间过小对Docker的影响,将Docker的最大储存空间设置为2G。
下载四个镜像,分别为:
REPOSITORY TAG IMAGE ID CREATED SIZE
alpine latest 053cde6e8953 4 days ago 3.96 MB
apps latest 67ea7f76e6db 5 days ago 687 MB
jenkins latest ec714cdad606 3 months ago 975 MB
dclb latest 483ca54282f0 4 months ago 44 MB
使用docker info查看Docker存储空间的使用情况:
Data Space Used: 1.935 GB
Data Space Total: 2.147 GB
Data Space Available:212.3 MB
在Data Space Available项中,可以看到仅剩余200M左右存储空间。
若此时下载其他镜像,则可能会报如下错误:
failed to register layer: devmapper: Thin Pool has 3190 free data blocks which is less than minimum required 3276 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior
如果创建一个容器,如alpine,则也可能会报如下错误:
docker: Error response from daemon: devmapper: Thin Pool has 3239 free data blocks which is less than minimum required 3276 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior.
通过测试,可知在删除一个镜像并释放空间之后,可以重新拉取小于此镜像大小的镜像,或者也可以成功创建alpine容器。
三、优化Docker的存储策略
在日常使用Docker服务时,我们给出以下两点建议:
1)、每天定时清理不用的Docker文件;
2)、将Docker的工作目录设置在数据挂载磁盘文件夹里面,且设置磁盘大于100G.
优化建议一:定时清理Docker文件
使用docker-gc可以清理Docker文件,docker-gc的清理规则是:
·Containers that exited more than an hour ago are removed(删除已经退出一小时的容器)
·Images that don"t belong to any remaining container after that are removed(删除不属于任何容器的镜像)
运行如下命令,每天定时使用docker-gc清理Docker文件:
sudo echo "0 2 * docker run --rm -v /var/run/docker.sock:/var/run/docker.sock -v /etc:/etc:ro -e FORCE_IMAGE_REMOVAL=1 spotify/docker-gc" >> /var/spool/cron/root
其中:FORCE_IMAGE_REMOVAL=1代表清理重复的镜像。
优化建议二:迁移Docker工作目录
在Docker的工作目录里面,会有很多大文件,如果将Docker的工作目录存放在根目录的话,会导致根目录很快被占满,因此需要将Docker的工作目录迁移到挂载的数据磁盘。
假设要将Docker的工作目录从/var/lib/docker迁移到/data/docker目录下,迁移的方法为:
1、暂停Docker服务
systemctl stop docker
2、迁移工作目录的数据
创建docker工作目录,如果/data/docker已经存在,则可以跳过此步骤,直接复制文件:
mkdir /data/docker
迁移数据:
cp -rf /var/lib/docker/* /data/docker/
3.修改Docker的工作目录
Docker的启动配置文件位置在:
/etc/systemd/system/docker.service.d/docker.conf
无此文件可手动创建。打开此文件,在其后面增加-g /data/docker,如果已经有-g选项,则直接修改后面的目录即可。修改后的结果如下:
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd --storage-driver=devicemapper --insecure-registry 0.0.0.0/0 --registry-mirror http://dockerhub.yonyou.com –g /data/docker/
4、启动Docker服务
systemctl daemon-reload && systemctl start docker
5、删除源文件
rm -rf /var/lib/docker/*
以上就是Docker储存的优化方案,希望对您能够有所帮助,更好的使用Docker容器技术。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/27638.html

相关文章

  • 前端基础

    摘要:谈起闭包,它可是两个核心技术之一异步基于打造前端持续集成开发环境本文将以一个标准的项目为例,完全抛弃传统的前端项目开发部署方式,基于容器技术打造一个精简的前端持续集成的开发环境。 这一次,彻底弄懂 JavaScript 执行机制 本文的目的就是要保证你彻底弄懂javascript的执行机制,如果读完本文还不懂,可以揍我。 不论你是javascript新手还是老鸟,不论是面试求职,还是日...

    graf 评论0 收藏0
  • 基于Docker搭建Hadoop集群之升级版

    摘要:总之,项目还算很受欢迎吧,这篇博客将介绍项目的升级版。一项目介绍将打包到镜像中,就可以快速地在单个机器上搭建集群,这样可以方便新手测试和学习。之前的版本使用为集群提供服务,由于网络功能更新,现在并不需要了。运行参考第二部分启动,并运行。 摘要: kiwenlau/hadoop-cluster-docker是去年参加Docker巨好玩比赛开发的,得了二等奖并赢了一块苹果手表,目前这个项目...

    Zoom 评论0 收藏0
  • Virtlet 介绍—— 或许是 NFV 新方向?

    摘要:该公司刚刚宣布了一个计划,意在取代现有的发行版。这甚至可能帮找到一个新方向。为了解决这个问题,我们在上增加了一个名为的新功能。总体而言,整个过程呈现如下建立包括,以及一个的基础架构。 这是 TCP CLOUD 联合创始人 & 前 CTO Jakub Pavlik 于 2017 年 7 月 9 日发布于 www.mirantis.com 的文章。本文主要介绍了 Virtlet 及其未来与...

    XUI 评论0 收藏0
  • 30个不可不知的容器技术工具和资源

    摘要:容器包的大小和完整性使得团队成员能够在几秒钟内部署完整的环境。由的前安全主管美国总统执行办公室网络安全高级总监联合创立的,目前正在准备类似的容器安全产品。在年,在美国召开了两个大型会议和个小型会议。 软件容器技术影响着从开发人员、测试人员、运维人员到分析人员的IT团队中的每一个人,它不像虚拟化一样只是系统管理员的工具。容器包的大小和完整性使得团队成员能够在几秒钟内部署完整的环境。 容器...

    crelaber 评论0 收藏0
  • 使用dockerfile 部署lnmpr环境

    摘要:且容器的创建和停止都十分快速,几乎跟创建和终止原生应用一致。命令是编写之后使用的。如果是在一个不支持的平台上运行或者不希望在中运行,也可以使用格式的指令环境变量这个环境亦是用来表明镜像模板最后的更新时间容器添加卷。 该文章为学习docker 笔记一 docker 简介 Docker 是基于GO语言实现的开源容器项目,现在主流的Linux系统都支持Docker,Docker 的构想是想要...

    HitenDev 评论0 收藏0

发表评论

0条评论

Amio

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<