记一次ZABBIX监控JMX故障

刘福发布于2019-07-01 18:29 / 3146人阅读

摘要：最近偶然发现线上其中一个服务的图形没有出来，点开发现报了一个错初步怀疑是端口占用，然后看了端口，发现端口并没有被占用。在网络下，会导致大量的连接建立错误。看来，出现问题的时候一定要考虑全面，不然就会埋下隐患。

最近偶然发现线上其中一个服务的zabbix图形没有出来，点开发现报了一个错：

java.rmi.ConnectIOException: error during JRMP connection establishment; nested exception is: 
java.net.SocketException: Connection reset

初步怀疑是端口占用，然后看了端口，发现端口并没有被占用。重启了一下，图形依然没有出来。 接着看了下系统上的一些限制，没有超过限制，因为之前已经调整过了。 netstat看了下端口，全是TIME_WAIT，问题就应该出在这里了。 调整内核参数

/etc/sysctl.conf 

# tcp连接保持时间为1800秒
net.ipv4.tcp_keepalive_time = 1800
# 回收TIME_WAIT占用的连接
net.ipv4.tcp_tw_recycle = 1

sysctl -p

本来我以为这样就解决了，然而，几行文字出现在我的眼前

启用TIME-WAIT状态sockets的快速回收，这个选项不推荐启用。在NAT(Network Address Translation)网络下，会导致大量的TCP连接建立错误。如果没有技术大神的指点的话，千万不要去改动他。

最合适的解决方案是增加更多的四元组数目，比如，服务器可用端口，或服务器IP，让服务器能容纳足够多的TIME-WAIT状态连接。

在服务端，不要启用net.ipv4.tcp_tw_recycle，除非你能确保你的服务器网络环境不是NAT。在服务端上启用net.ipv4.tw_reuse对于连接进来的TCP连接来说，并没有任何卵用.

在客户端（尤其是服务器上，某服务以客户端形式运行时，比如上面提到的nginx反代，连接着redis、mysql的FPM等等）上启用net.ipv4.tcp_tw_reuse，还算稍微安全的解决TIME-WAIT的方案。再开启net.ipv4.tcp_tw_recycle的话，对客户端（或以客户端形式）的回收，也没有什么卵用，反而会发生很多诡异的事情（尤其是FPM这种服务器上，相对nginx是服务端，相对redis是客户端）。

看来，出现问题的时候一定要考虑全面，不然就会埋下隐患。 参考文档

https://www.cnblogs.com/xupei...
https://blog.csdn.net/chengm8...

私有云专线服务记一次在阿里云搭建服务器记一次阿里云服务器集体中毒 zabbix监控 zabbix 监控日志文件

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/33464.html

记一次ZABBIX监控JMX故障

摘要：最近偶然发现线上其中一个服务的图形没有出来，点开发现报了一个错初步怀疑是端口占用，然后看了端口，发现端口并没有被占用。在网络下，会导致大量的连接建立错误。看来，出现问题的时候一定要考虑全面，不然就会埋下隐患。最近偶然发现线上其中一个服务的zabbix图形没有出来，点开发现报了一个错： java.rmi.ConnectIOException: error during JRMP con...

SwordFly 2019-07-31 14:56 评论0 收藏0
如何监控 Tomcat？Zabbix 与 Cloud Insight 对比

摘要：如果一个主机有及其他类型的监控项，则只有类型的监控项可以通过进行监控。当在上的一个监控项值更新了，或代理将连接请求该值，因为不会缓存任何值或代理可以通过控制连接的进程。在内部通过控制选项使用多线程启动。 JVM 监控工具有很多，像命令 jstat，jmap，jstack，jinfo 可以根据不同需求查看不同的系统信息，还有图像化界面 jconsole，都是很方便的工具。这些可以参考 J...

learning 2019-07-23 18:08 评论0 收藏0
ZABBIX 3.4的新增功能，炫的眼花缭乱

摘要：监控解决方案发布了一个稳定分支版本版本发布了很多大家预期的惊艳功能，并保持一贯的简单性和灵活性。下面我们将介绍一部分的新功能。请注意，通过执行远程命令默认情况下禁用。 ZABBIX监控解决方案发布了一个稳定分支版本！ZABBIX 3.4版本发布了很多大家预期的惊艳功能，并保持一贯的简单性和灵活性。下面我们将介绍一部分ZABBIX 3.4的新功能。重新设计的仪表板在3.4中，你会发现仪表板的改...

hidogs 2019-04-25 17:22 评论0 收藏0
Docker环境下的中间件监控，没错就两步

摘要：在很多企业环境中，都采用作为服务。对的监控，较为常用的方式是使用。那么，到全的环境下，如何搭建并实现以上的监控系统，今天就由数人云工程师来分享一下。以及其他依赖文件可以在码云中获得。本文来自KVM群直播的实录分享。在很多企业环境中，都采用 tomcat 作为web 服务。对 tomcat 的监控，较为常用的方式是使用 JMX。那么，到全 Docker 的环境下，如何搭建并实现以上的监...

WalkerXu 2019-07-23 18:09 评论0 收藏0
Docker环境下的中间件监控，没错就两步

摘要：在很多企业环境中，都采用作为服务。对的监控，较为常用的方式是使用。那么，到全的环境下，如何搭建并实现以上的监控系统，今天就由数人云工程师来分享一下。以及其他依赖文件可以在码云中获得。本文来自KVM群直播的实录分享。在很多企业环境中，都采用 tomcat 作为web 服务。对 tomcat 的监控，较为常用的方式是使用 JMX。那么，到全 Docker 的环境下，如何搭建并实现以上的监...

Object 2019-06-28 15:20 评论0 收藏0