线上操作与线上问题排查实战

keithxiaoy 发布于2019-06-21 14:24 / 1890人阅读

摘要：四查询线程数问题查询服务器运行服务的总线程数，当机器线程数超过阙值时，能够快速查出相关进程及线程信息。第二步如果此时各项写入指标都很低，基本没有大的写入操作，则需要排查磁盘自身。相关文章下追查线上问题常用命令指南入门原文地址

一、了解机器连接数情况

问题：1.2.3.4的sshd的监听端口是22，如何统计1.2.3.4的sshd服务器各种连接状态(TIME_TIME_WAIT/CLOSE_WAIT/ESTESTABLESTABLISHESTABLISHED)连接数。

参考答案：

netstat -n | grep 1.2.3.4:22 | awk "/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

netstat -lnpta | grep ssh| egrep "TIME_WAIT|CLOSE_WAIT|ESTABLISHED"

说明：netstat是追查网络连接问题的常用工具，结合grep／awk使用。

二、从已经备份好的日志中查询数据

问题：从已备份的log.bz2日志文件中，找出包含关键词1.2.3.4的日志有多少条。

参考答案：

bzcat log.bz2 | grep "1.2.3.4" | wc -l

bzgrep "1.2.3.4" log.bz2 | wc -l

less log.bz2 | grep "1.2.3.4" | wc -l

说明：线上日志文件一般以bz2压缩之后保留。使用bzcat和bzgrep来读取。

三、备份服务的技巧

问题：打包备份/opt/web/www/目录，排除掉目录中的logs目录，打包好的文件存放在/opt/backup目录下。

参考答案：

tar -zcvf /opt/backup/log.tar.gz
-exclude /opt/web/www/logs /opt/web/www

说明：在项目需要打包迁移时，常常需要排除掉日志目录，exclude是需要掌握的参数。

四、查询线程数

问题：查询服务器运行服务的总线程数，当机器线程数超过阙值时，能够快速查出相关进程及线程信息。

参考答案：

ps -eLf | wc -l

pstree -p | wc -l

五、磁盘报警，清空最大文件

问题：找出服务器上，某个正在运行的tomcat产生的大量异常日志，找出该文件，并释放空间。

参考答案：
第一步，找到该文件
find / -type f -name "log" | xargs ls -lSh | more
du -a / | sort -rn | grep log | more
find / -name "log" -size +1000M -exec du -h {} ;

第二步，将文件清空
假设找到的文件为a.log
正确的情况方式应该为：echo "">a.log，文件空间会立刻释放。
很多同学：rm -rf a.log，这样文件虽然删除，但是因tomcat服务仍在运行，空间不会立刻释放，需要重启tomcat才能将空间释放。

六、显示文件，过滤注释

问题：显示server.conf文件，屏蔽掉#号开头的注释行。

参考答案：

sed -n "/^[#]/!p" server.conf

sed -e "/^#/d" server.conf

grep -v "^#" server.conf

七、磁盘IO异常盘查

问题：磁盘IO异常如何盘查，类似写入慢或当前使用率高，请查出导致磁盘IO异常高的进程IO。

参考答案：

第一步：iotop -o 查看当前正在写磁盘操作的所有进程ID信息。

第二步：如果此时各项写入指标都很低，基本没有大的写入操作，则需要排查磁盘自身。可以查看系统dmesg或cat /var/log/message 看看是否有相关的磁盘异常报错，同时可以在写入慢的磁盘上touch 一个空文件看看，是否磁盘故障导致无法写入。

相关文章：
linux下追查线上问题常用命令
awk指南
sed入门

原文地址

服务器托管私有云消息队列线上问题线上线上python 线上cdn

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/10235.html

应用实战：从Redis到Aerospike，我们踩了这些坑

摘要：个推专注为开发者们提供消息推送服务多年。这部分数据存储在个推集群，整个集群包括主从共百余个实例，的数量在亿级别，存储空间在级别，带来了一定的维护成本和运维挑战。灰度上线流程个推在离线消息列表存储这项业务中使用了较大规模的集群。个推专注为开发者们提供消息推送服务多年。通过个推SDK，手机终端与服务器建立长连接，维持在线状态。然而在网络异常等情况下，消息无法实时送达到终端用户，因而推送服...

frank_fun 2019-07-25 12:21 评论0 收藏0
应用实战：从Redis到Aerospike，我们踩了这些坑

摘要：个推专注为开发者们提供消息推送服务多年。这部分数据存储在个推集群，整个集群包括主从共百余个实例，的数量在亿级别，存储空间在级别，带来了一定的维护成本和运维挑战。灰度上线流程个推在离线消息列表存储这项业务中使用了较大规模的集群。个推专注为开发者们提供消息推送服务多年。通过个推SDK，手机终端与服务器建立长连接，维持在线状态。然而在网络异常等情况下，消息无法实时送达到终端用户，因而推送服...

mengera88 2019-07-31 18:17 评论0 收藏0
应用实战：从Redis到Aerospike，我们踩了这些坑

摘要：个推专注为开发者们提供消息推送服务多年。这部分数据存储在个推集群，整个集群包括主从共百余个实例，的数量在亿级别，存储空间在级别，带来了一定的维护成本和运维挑战。灰度上线流程个推在离线消息列表存储这项业务中使用了较大规模的集群。个推专注为开发者们提供消息推送服务多年。通过个推SDK，手机终端与服务器建立长连接，维持在线状态。然而在网络异常等情况下，消息无法实时送达到终端用户，因而推送服...

Sanchi 2019-07-24 15:38 评论0 收藏0
观远AI实战 | 机器学习系统的工程实践

摘要：机器学习作为时下最为火热的技术之一受到了广泛的关注。文中给出的个建议都是针对机器学习系统的，没有包含通用软件工程里那些单元测试，发布流程等内容，在实践中这些传统最佳实践也同样非常重要。图片描述「观远AI实战」栏目文章由观远数据算法天团倾力打造，观小编整理编辑。这里将不定期推送关于机器学习，数据挖掘，特征重要性等干货分享。本文8千多字，约需要16分钟阅读时间。机器学习作为时下最为火...

codergarden 2019-06-26 18:45 评论0 收藏0
观远AI实战 | 机器学习系统的工程实践

摘要：机器学习作为时下最为火热的技术之一受到了广泛的关注。文中给出的个建议都是针对机器学习系统的，没有包含通用软件工程里那些单元测试，发布流程等内容，在实践中这些传统最佳实践也同样非常重要。图片描述「观远AI实战」栏目文章由观远数据算法天团倾力打造，观小编整理编辑。这里将不定期推送关于机器学习，数据挖掘，特征重要性等干货分享。本文8千多字，约需要16分钟阅读时间。机器学习作为时下最为火...

zoomdong 2019-06-26 16:19 评论0 收藏0