摘要：今天小数给大家带来的是数人云工程师金烨的分享，有关于自动快速部署服务相关组件的一些实践。当与相遇，双剑合璧，一切变得如此简单有趣。通过将服务注册到来做健康检查。
今天小数给大家带来的是数人云工程师金烨的分享，有关于自动快速部署DCOS服务相关组件的一些实践。
当Ansible与Docker相遇，双剑合璧，一切变得如此简单有趣。
本次分享将包括以下内容：
云平台部署使用的服务、组件
Docker化服务组件
初始化安装控制主机
集群主机系统检测
使用Ansible初始化集群主机
使用Ansible安装、检测DCOS相关服务
一、使用的服务、组件简介Ansible 批量管理配置服务
初始化主机、批量安装各服务使用
test yum repo 部署软件包源
启动一个简单 http 服务，把安装使用的软件包全放到这个项目中
Docker 轻量级容器服务
Cadvisor 监控服务
test-registry 组件安装使用镜像仓库
Haproxy 负载均衡组件
Keepalived 高可用组件
部署在master1 和 master2 两台主机，通过检查这两台主机部署的haproxy进行VIP 漂移。
MySQL数据库
自研组件
Consul 服务发现、健康检查、健值存储外访问的切换
Zookeeper Mesos Marathon
DCOS 核心组件，负责集群资源管理，应用调试
二、主要服务的功能说明及逻辑架构上面简单介绍了安装整个 DCOS 服务的完整过程，在安装各组件前，我们都会先检测是否已经安装了该服务，如果已经存在会中止安装，人工检查后，再进行后续操作。
1、test yum repotest-yumrepo 是一个简单的 yum 源服务，里面放置了安装 DOCS 需要使用的所有 rpm 包，使用 createrepo 命令进行创建和更新yum 源。
2、test registry在安装 DCOS 前会把组件镜像全 push 到 registry ,不设置认证用户，配置申请好的证书。
使用这个 registry 时，只需要添加域名解析就可以。
registry 的数据目录，直接复制目录到其它主机。
再启动 registry 服务容器就可以直接使用，而不需要导入导出浪费时间。
因为 docker 镜像是分层的，不同的镜像，也会共用一些公共的镜像层。
使用这个原理，镜像大多数的服务都使用相同的 base 镜像，这样所有的镜像都放置到 registry 中，就可以减少占用磁盘的容量。
3、自研组件DCOS 自研的控制界台
4、Consul用它来做各服务的健康检查、服务发现、MySQL主从切换等。
consul 分为server 和 client ，我们注册、注销服务都是通过 client API 进行,这样的好处是 client 上的主机服务都绑定在 client 端，健康检查也都是通过 client 端进行本地检查。
服务本身的状态查询查询则是通过 Server 端。
consul 的服务发现consul 有多种服务发现机制，我们使用的是比较简单的 dns 模式，通过 consul 自带的 DNS 解析功能实现的。
各服务安装好后，通过调用 consul 的 API 注册服务。
需要服务发现的组件通过 docker run 参数 添加 --dns , 在容器内部就可以解析到 consul 中注册的服务地址 , 例如： 访问数据库的配置就可以设置为 mysql.service.consul:3306, 这样的配置。(当然支持srv 服务可以直接用)
5、Haproxyhaproxy做为平台服务的负载均衡服务，对外服务配置服务时，配置的是 consul 中的服务域名。
这里有个坑，原来使用 haproxy 1.5 版本, 后端服务使用域名时，启动后只解析一次(和nginx类似)，这时如果解析到的服务挂掉，访问haproxy页面时会503.
查询官网得知 haproxy 1.6 支持了动态 dns 域名解析的配置，后升级为 haproxy 1.6。
下面是动态 dns 解析相关的配置内容：
6、MySQL 基于 Consul 的主从切换最初的MySQL主从切换是基于 haproxy+keepalived 来做高可用的。
这种机制下，MySQL主从切换的简单需求需要引入2个开源组件，架构上也非常复杂。
为了减轻架构复杂度和可维护性，我们将主从切换改为了使用 Consul 进行主从切换。MySQL是安装了两台，一主一从，设置权限时，主是读写的，从是普通用户只读权限。
通过将服务注册到 consul 来做健康检查。
MySQL Master 和 Slave 注册到一共注册四个服务到Consul, 如下代码：
正常情况 mysql-vip.service.consul 解析到 主mysql ip。
这里会分两种情况切换到从解析：
主MySQL挂掉后，ip解析到从mysql ip，mysql-vip 切换到从Mysql IP
主库的 consul 挂掉也会导致服务无法解析，即使 mysql-master 正常，所以如果 consul 挂掉也会被激活切换。
请注意：因为MySQL从是只读的，相当于降级服务。
7、Zookeeper Mesos Marathon参考以前写的文章：容器公司如何用容器进行产品迭代
http://blog.dataman-inc.com/s...
dockerfile 的语法比较简单，类似shell， 常用的命令主要有：
FROM 依赖的基础镜像
RUN 执行的shell命令
ADD 添加本地文件目录或下载网络中的文件并且解压到镜像中
COPY 复制本地文件或目录到镜像中
ENTRYPOINT docker容器启动时的默认命令
CMD docker容器启动时的默认参数
参考：https://docs.docker.com/engin...
下面是dockerfile的示例
2、dockerfile 的一些小技巧docker 镜像的默认启动命令可以是一个自定义的 shell 脚本，例如我们编写一个 entrypoint.sh 脚本，可以在启动脚本中做很多事情，比如初始化服务、拉取配置、替换变量等等。
3、Dockerfile示例：ZookeeperDockerfile
Zookeeper启动脚本：
cat /data/run/dataman_zookeeper.sh
参考 https://docs.docker.com/engin...
https://github.com/Dataman-Cl...
四、初始化安装控制主机 1、启动test yum repo启动test yum repo，把 test yum repo 配置到当前主机的/etc/yum.repos.d/test.repo
配置内容如下：
然后就可以很方便的安装一些必要的工具服务。
test yum repo的使用方法
其中 --disablerepo=* 是禁用其它 yum repo, --enablerepo=repo 是开启数人云 testrepo ,这样做是为了防止其它 的yum repo 影响 yum 安装 的过程，减少出错。
2、安装需要使用的基础服务安装需要部署DOCS需要使用的服务,和一些调试工具
yum --disablerepo=* --enablerepo=testrepo install -y net-tools iptables ansible 等。
修改 NTP server 的配置。
3、启动安装集群组件使用的镜像仓库test-registry服务 五、集群主机系统安装前配置及检测安装机准备好 yum repo 和 test registry, 我们就可以准备安装 DCOS集群了。
安装前我们会先检测当前安装机的服务是否是我们要求的主机状态，检查包括：
yum repo 状态正常
test registry 状态正常
NTP server 状态正常
然后修改ansible 配置ansible/inventory/hosts。
规划好主机列表及角色，内容示例如下：
修改自定义的主配置文件config.cfg，这个配置中主要包含了，集群使用的 DCOS master 列表，mysql 主机、用户、初始密码，Keepalived 主机、VIP地址，以后面各服务就从这两个配置中读取内容生成最终配置，再进行安装。
在安装服务前会检测各主机：
系统版本、内核版本检测
文件系统检测
磁盘容量检测
如果检测到的结果异常会跟中止安装。
六、初始化集群主机前面的初步检测步骤通过后，我们就会对集群主机进行初始化操作。
包含的内容有：
基础操作
防火墙、selinux 等
主机名
设置主机机名解析
NTP 客户端
设置 ntp 服务
Docker
安装配置等
安装运维调试工具
出问题检查的各种工具，比如 netstatdig等
主机初始化后的环境检查
以上初始化的检查
最终我们通过 Ansible 完成了将整套的分布式部署抽象成了两步完成：
在一个配置文件中配置整套安装方案的服务；
执行安装脚本。
这个服务并不是完美的，还有很多可以优化的，比如大数量主机安装的效能问题等，我们会持续对其进行改进。
欢迎大家一起交流、探讨经验。谢谢大家。
Q&AQ1：现在Docker的版本更新也很快，那数人云是怎么来考虑这个版本的，每次跟着更新，还是延后多少个小版本？
A1：每次Docker更新我们都在在内部进行测试，经过一段时间的验证，没有什么大坑的时候，就更新。没有特定的，延后固定几个版本。
Q2：此前看到一篇文章说，Docker是没有后向兼容的，每次更新版本都会非常痛苦。你们是怎么处理这个问题？
A2：这个问题我们也很烦恼，我们是一台一台主机的升级，不会影响业务的正常使用。DCOS集群本身是高可用的，所以宕机1、2台也不会有问题。
（承接上一问）
Q3：一般来说，DCOS集群我们都建议上百台主机，那一个DCOS集群升级一次大概要耗时多久？
A3：升级的话，提前规划，按应用或集群的角色划分好批次 比如说 Master不能同时升级，两个MySQL主从不能同时升级，Elasticsearh 集群不能同时升级等 提前进行docker pull 预热 100台主机，完整升级一次预计要半小时左右。这个半小时不包含准备时间。
Q4：你们docker volume怎么解决的？
A4：例如MySQL这种需要持久化数据 的服务，我们是发到固定主机。如果是Elasticsearch，这种本身已经有数据同步的服务，我们是直接挂载出来，指定一个主机范围。
Q5：能分享下数人云在DCOS+DevOps方面的经验么？
A5：这次分享的集群安装就是我们DevOps的一部分，我们的应用和组件都是Docker化的，使用ansible docker run或调用marathon api 进行、更新发布应用，平时的工作主机就是Docker化服务和把这些服务发到DCOS集群中。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/27954.html
摘要：阿里云官网推荐购买租赁配置地址首先我们要确认我们是个人用户还是企业用户，账户实名认证是个人认证的即为个人用户，实名认证是企业认证的即为企业用户。对于初次租赁阿里云服务器的用户来说，首先面临的就是云服务器配置该如何选择，因为对于一般性用户来说，没有专业的技术人员推荐指导购买什么样的云服务器，买高了容易浪费云服务器资源，成本也高一些，买低了可能又容易出现问题，比如CPU，内存消耗过高导致服务器卡...
摘要：容器内文件日志平台支持的文件存储是，避免了许多复杂环境的处理。以上是数人云在实践容器日志系统过程中遇到的问题，更高层次的应用包括容器日志分析等，还有待继续挖掘和填坑，欢迎大家提出建议，一起交流。 业务平台每天产生大量日志数据，为了实现数据分析，需要将生产服务器上的所有日志收集后进行大数据分析处理，Docker提供了日志驱动，然而并不能满足不同场景需求，本次将结合实例分享日志采集、存储以...
摘要：指导员明伯伯数人云工程师手记相关阅读基于的集群管理开发实践服务发现，负载均衡和 这是一个容器信息臃肿的时代。 Docker 鲸鱼鼓着圆圆的肚子在西雅图开了一场名为 DockerCon2016 的大会，全球 4000 人参加， 8 大看点留下对容器生态的更多畅想。 数人云一直专注于以企业级的 Mesos +容器技术栈，出于对容器新技术的热爱，我们在社区版的工具上小试牛刀，距 Docker...
摘要：在之前公众号的数人云工程师手记基于的集群管理开发实践对的服务发现及负载均衡有详细的介绍。服务名称为服务命名，必须为英文或数字。 本文是数人云9月22日线上微信群分享的文章实录。数人云容器管理面板Crane开源以来，很多小伙伴对它还不是非常了解，数人云工程师金鑫从Crane技术背景、环境准备和使用步骤等方面为大家做了详细的介绍，并整理大家常见的问题逐一进行了解答。 引言 Docker1....
摘要：在很多企业环境中，都采用作为服务。对的监控，较为常用的方式是使用。那么，到全的环境下，如何搭建并实现以上的监控系统，今天就由数人云工程师来分享一下。以及其他依赖文件可以在码云中获得。 本文来自KVM群直播的实录分享。在很多企业环境中，都采用 tomcat 作为web 服务。对 tomcat 的监控，较为常用的方式是使用 JMX。那么，到全 Docker 的环境下，如何搭建并实现以上的监...
阅读 1914·2021-11-24 09:39
阅读 1020·2021-09-23 11:21
阅读 1364·2021-08-09 13:47
阅读 2593·2019-08-30 15:55
阅读 3370·2019-08-29 15:42
阅读 917·2019-08-29 13:45
阅读 2879·2019-08-29 12:33
阅读 2679·2019-08-27 14:19
