关于Java Tomcat 内存溢出排查心得分享

soゝso 2017-01-07 01:27:26 1930
分享到:

我网站不知道什么时候,开始内存飙升,从   Tomcat  启动后,初始内存占用4%~5% 左右,到20%、40% 最后服务器卡死,SSH都连不上服务器,不得不重启。但是我知道是我程序的问题。然后分析问题,解决问题。陆陆续续持续了一个多月,下面分享解决思路。

一、定位造成内存溢出可能存在的问题

  1. io流操作文档没关闭流。
  2. 往一个静态集合变量里一直压栈。
  3. 连接没释放。
  4. Java队列没消耗。
  5. Ehcache缓存使用量过大。
  6. 频繁IO操作大文件。
  7. Session过期时间太久。
  8. 等等.....

我定位有可能造成的原因是以上原因,针对本站的特点在做细排查,有可能出现的问题。

  1. io流操作文档没关闭流。(有可能)
  2. 往一个静态集合变量里一直压栈。(没有这个问题)
  3. 链接没释放。(有可能,因为本站有大量的HttpClient请求)
  4. Java队列没消耗。(有可能,因为本站使用上了)
  5. Ehcache缓存使用量过大。(没使用)
  6. 频繁IO操作大文件。(没有)
  7. Session过期时间太久。(可能有)
  8. 等等.....

二、采用Memory Analyzer Tool(MAT)分析Java内存

采用   jmap  命令(Java Memory Map)导出内存转储快照(Dump);

首先查询到你对应的   Tomcat  的pid

ps -aux|grep xxx-tomcat

然后执行jmap命令:

jmap -dump:format=b,file=73630.hprof 16706  

导出完毕。down下来用   Eclipse  ,或者   MyEclipse  查看,但是 MyEclipse 或者 Eclipse 要先安装工具,自行百度。然后以openFile 的方式打开。如图:

可能有点看不懂,自行解决,点击Histogram ,可以看到内存中的详细信息。

可以看到char[] byte[] 占用的是最多,而且不是多一点点。这明显不正常。就是一些IO流相关的信息。Memory Analyzer 工具还是有很多功能的,我也不太会用。具体可以多看看相关的博客。下面来排查问题。

三、问题逐一排查,由容易到复杂

3.1 Session检查

从配置文件web.xml 查看,发现   Session    超时配置了900 分钟。。。醉了,回想起来,是当时因为有权限校验(防止攻击)模块利用   Session  来实现,所以才出此下策。改成30 分钟,重启后效果有一点点。继续排查。

3.2 IO流操作没关闭检查(严重)

全局搜索各种InputStream OutputStream ,各种Buffer 等等,然后各种修改关闭。尤其是本站的  HTTP  模拟请求工具,一天的用量非常大。如下IO 流在finally try...catch 各种关闭。

try{
//......
}catch(Exception e){
//......
}finally{
	realUrl = null;
	try {
		if(null != conn)conn.disconnect();
		conn = null;
	} catch (Exception e2) {
		LoggerUtils.fmtError(HttpManager.class, e2, "请求完毕关闭流出现异常,可以忽略![%s]", url);
	}
	try {
		if(null != outStream)outStream.close();
		outStream = null;
	} catch (Exception e2) {
		LoggerUtils.fmtError(HttpManager.class, e2, "请求完毕关闭流出现异常,可以忽略![%s]", url);
	}
	try {
		if(null != out)out.close();
		out = null;
	} catch (Exception e2) {
		LoggerUtils.fmtError(HttpManager.class, e2, "请求完毕关闭流出现异常,可以忽略![%s]", url);
	}
	try {
		if(null != inStream)inStream.close();
		inStream = null;
	} catch (Exception e2) {
		LoggerUtils.fmtError(HttpManager.class, e2, "请求完毕关闭流出现异常,可以忽略![%s]", url);
	}
	try {
		if(null != in)in.close();
		in = null;
	} catch (Exception e2) {
		LoggerUtils.fmtError(HttpManager.class, e2, "请求完毕关闭流出现异常,可以忽略![%s]", url);
	}
	double end = System.currentTimeMillis();
	map.put("time", (end - begin) / 1000);
	//大对象用完赋值null
	bo = null;//促进回收
}

结论:全部加好后重启,过一段时间再看。效果不明显。其实是我在平时代码严谨上这个错误没有出现,但是从经验角度来说,如果这个没处理好,这个是最容易出现 内存溢出  的。

ps:关于后面有一段代码,bo=null;//促进回收 ,我个人是这么理解,不知道有没毛病。主要是针对局部变量的大变量。可以用完后赋值为null

3.3 HttpClient请求链接释放问题(严重)

  Httpclent  请求链接不主动关闭,这个问题也是个大问题,但是对内存的影响,看从什么角度,占用最大的应该还是响应链接,把链接用完了,新的链接就进不来,我们知道  Tomcat  默认配置一共好像才150 个,一会就用完了,如果不用完关闭,那么会造成链接释放慢,甚至不释放。如果不释放,请求得到的responseBody 那么有可能一直没有释放了。

HttpClient怎么释放?

其实百度一下有很多答案,我这里顺便带一下。

1.请求头增加关闭Head信息。

//添加头信息
HttpURLConnection conn = null;
URL realUrl = new URL(url);
// 打开和URL之间的连接  
conn = (HttpURLConnection) realUrl.openConnection(); 
//省略部分代码
//增加请求完毕后关闭链接的头信息
conn.setRequestProperty("Connection", "close"); 

2.用完Httpclent后手动关闭

//添加头信息
HttpURLConnection conn = null;
URL realUrl = new URL(url);
// 打开和URL之间的连接  
conn = (HttpURLConnection) realUrl.openConnection(); 
//省略部分代码
//手动释放
if(null != conn)conn.disconnect();

3.通过线程的方式扫描关闭。

这个方法其实类似启动一个守护线程(一直启动着),来扫描有没有关闭的请求。这个方法比较鸡肋,用的好就很好,用的不好就蛋痛了。推荐使用方法一、方法二,为了保险起见你可以两种一起使用,并不会有问题。

总结:  Httpclent  链接请求完毕一定要关闭。有的人可能会看了浏览器里的请求头信息为:Connection:keep-alive ,这个回头我会详细说明,但是这个是浏览器需要的,因为你还要继续加载css、js、image 等等,大概是这个意思,而你的  Httpclent  只需要加载一次,所以直接close 即可。

3.3 Java队列(最终问题定位)

昨晚把  队列  换成了阿里的队列,问题解决了,几个小时过去了,还是5.6%

换成了阿里的  队列  ,我把队列用于本地计算机跑,线上跑网站,把所有队列的错误信息,以及执行情况看了一下,发现是之前逻辑写的有问题,导致队列异常,队列异常没有catch及时处理。故导致了这个现象的最大的罪魁祸首。


关于作者
目前就职于国内某电商平台公司打杂。。
相关文章
SOJSON首页的圣诞雪花特效,特效分享,雪花特效下载
Java 实现多个二级域名访问同一个Tomcat(系统)。
Java 发送Email,Java 邮件发送工具类封装
Shiro教程(十一)Shiro 控制并发登录人数限制实现,登录踢实现
关于微信weixin.com,价值3000万域名腾讯仲裁“0元”得手实际分析
Java生成验证码合集(一)简单版
Jackson 美化输JSON,优雅的输JSON数据,格式化输JSON数据... ...
Elasticsearch教程,Elasticsearch Java API创建Mapping,指定分词器
多说迁移,Java开发模仿自主实现评论(一)
Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.
最新文章
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 39042
JS解密,JavaScript 解密,任何JS加密都能100%解密,以及JS 加密讲解 78
阿里云DNS 解析讲解,SEO配置搜索引擎线路解析 44
百度秒收录教程,怎么做到百度秒收入你的页面,SEO 教程 98
CDN 请求返回 connection reset by peer,被拦截请求解决方案 36
Google AdSense 申请技巧,谷歌广告申请通不过教程 68
Mac 安装 JMeter,JMeter 下载,JMeter Http 压力测试【图解】 49
Java 随机从 List 随机获取多个不重复对象,Mysql 随机10条数据 73
支付宝吱口令自动复制脚本,自动复制 JavaScript 代码介绍 895
谈谈这次对 SOJSON 的改版 149
最热文章
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 39042
Elasticsearch教程(四) elasticsearch head 插件安装和使用 109094
Elasticsearch教程(六) elasticsearch Client创建 73304
Elasticsearch教程(八) elasticsearch delete 删除数据(Java) 70759
Elasticsearch教程(二),IK分词器安装 67494
Elasticsearch教程(三),IK分词器安装 (极速版) 54088
Elasticsearch教程(五) elasticsearch Mapping的创建 51612
Elasticsearch教程(一),全程直播(小白级别) 51358
Elasticsearch教程(七) elasticsearch Insert 插入数据(Java) 47776
Elasticsearch权威指南-中文.pdf,Elasticsearch 中文文档下载 40932

骚码加入我们 / 千人QQ群:259217951

入群需要5元,如果没有QQ钱包,可以先Alipay、微信,赞助然后加群主拉进。

二维码生成 来自 >> 二维码生成器

支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

正在加载... ...