【JVM】JVM 方法区
栈、堆、方法区的交互关系
内存区域划分:
对象的访问定位:
Person
:类信息(类型信息、方法信息、属性信息等)存放在元空间,也可以说方法区person
:类的实例对象名存放在Java栈的局部变量表中new Person()
:类的实例对象数据存放在Java堆中
方法区的理解
《Java虚拟机规范》中明确说明:“尽管所有的方法区在逻辑上是属于堆的一部分,但一些简单的实现可能不会选择去进行垃圾收集或者进行压缩。”
但对于HotSpot JVM而言,方法区还有一个别名叫做Non-Heap(非堆),目的就是要和堆分开。所以,方法区可以看作是一块独立于Java堆的内存空间。
方法区和元空间的区别:
- 方法区是Java虚拟机规范里定义的抽象名词
- 元空间则是一些JVM厂商根据规范对方法区进行具体实现时起的名称
方法区主要存放的是 Class
(类的信息),而堆中主要存放的是实例化的对象数据
- 方法区(Method Area)与Java堆一样,是各个线程共享的内存区域。
- 方法区在JVM启动的时候被创建,并且它的实际的物理内存空间中和Java堆区一样都可以是不连续的。
- 方法区的大小,跟堆空间一样,可以选择固定大小或者可扩展。
- 方法区的大小决定了系统可以保存多少个类,如果系统定义了太多的类,导致方法区溢出,虚拟机同样会抛出内存溢出错误:
java.lang.OutOfMemoryError:PermGen space
或者java.lang.OutOfMemoryError:Metaspace
- 加载大量的第三方的jar包
- Tomcat部署的工程过多(30~50个)
- 大量动态的生成反射类
- 关闭JVM就会释放这个区域的内存。
方法区的演进
- JDK 1.7 及以前,习惯上把方法区称为永久代,永久代内的数据还是存在虚拟机内存
- JDK 1.8 后,使用元空间取代了永久代,并且元空间存放在堆外内存(本地内存)中
元空间和永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存
从元空间开始数据存放在本地内存中,本地内存的数据不再有JVM的GC回收机制
本质上,方法区和永久代并不等价。仅是对hotspot而言的,其他许多厂商的JVM没有永久代的概念。《Java虚拟机规范》对如何实现方法区,不做统一要求。例如:BEAJRockit / IBM J9 中不存在永久代的概念。
现在来看,当年使用永久代,不是好的idea。导致Java程序更容易oom(超过
-XX:MaxPermsize
上限)
而到了JDK 1.8,终于完全废弃了永久代的概念,改用与JRockit、J9一样在本地内存中实现的元空间(Metaspace)来代替
方法区和元空间的区别:
- 方法区是Java虚拟机规范里定义的抽象名词
- 元空间则是一些JVM厂商根据规范对方法区进行具体实现时起的名称
元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代最大的区别在于:元空间不在虚拟机设置的内存中,而是使用本地内存。永久代、元空间二者并不只是名字变了,内部结构也调整了。根据《Java虚拟机规范》的规定,如果方法区无法满足新的内存分配需求时,将抛出OOM异常。
方法区的更多演进细节
首先明确:只有Hotspot才有永久代。BEA JRockit、IBMJ9等来说,是不存在永久代的概念的。原则上如何实现方法区属于虚拟机实现细节,不受《Java虚拟机规范》管束,并不要求统一。
Hotspot中方法区的变化:
- JDK 1.6 及以前:有永久代,静态变量存储在永久代上
- JDK 1.7:有永久代,但已经逐步 “去永久代”,字符串常量池和静态变量开始保存在堆中
- JDK 1.8:无永久代,类型信息,字段,方法,运行时常量池保存在本地内存的元空间,但字符串常量池、静态变量仍然在堆中
JDK 1.7 是一个过度版本,逐渐从永久代转变为元空间,并且字符串常量池、静态变量逐渐保存在堆中。
在 JDK 1.8 后,元空间里只保存类型信息/方法信息等(在本地内存中)。字符串常量和静态变量被保存在了堆中方便 GC。
注意:运行时常量池仍然在元空间,其内存储一些静态全局常量(static final)
JDK 1.6 的时候:
JDK 1.7 的时候:
JDK 1.8 的时候,元空间大小只受物理内存影响:
StringTable 为什么要调整位置
因为之前存放在永久代里只有Full GC才会回收,效率太低。JDK 1.8后放到堆里回收效率高,Major GC时就会回收,不需要等待Full GC
JDK 7中将StringTable
放到了堆空间中。因为永久代的回收效率很低,在Full GC的时候才会触发。而Full GC是老年代的空间不足、永久代不足时才会触发。
这就导致StringTable
回收效率不高。而我们开发中会有大量的字符串被创建,回收效率低,导致永久代内存不足。将字符串常量池放到堆里能及时回收内存。
静态变量存放在哪里?
- 对象实体数据始终存放在堆空间
- 对象的引用变量名在JDK6,JDK7,JDK8存放位置中有所变化
对象实体在哪里放着?
静态引用对应的对象实体数据始终都存在堆空间(new出来的对象实体数据)
1 | /** |
静态引用对应的对象实体(也就是这个new byte[1024 * 1024 * 100]
)始终都存在堆空间,只是那个变量(相当于下面的arr变量名)在JDK6,JDK7,JDK8存放位置中有所变化。
变量(名)存放在哪里?
这个问题需要用JHSDB工具来进行分析,这个工具是JDK9开始自带的,在bin
目录下可以找到
1 | package com.zhao.java1; |
三者的存放位置:
staticobj
:静态属性,随着Test
的类型信息存放在方法区instanceobj
:类的普通属性,随着Test
的对象实例存放在堆区localobject
:局部变量,是存放在foo()
方法栈帧的局部变量表中。
测试发现:三个对象的实体数据在内存中的地址都落在Eden区范围内,所以结论:只要是对象实例必然会在Java堆中分配。
接着,找到了一个引用该staticobj
对象的地方,是在一个java.lang.Class
的实例里,并且给出了这个实例的地址,通过Inspector查看该对象实例,可以清楚看到这确实是一个java.lang.Class
类型的对象实例,里面有一个名为staticobj
的实例字段:
从《Java虚拟机规范》所定义的概念模型来看,所有Class相关的信息都应该存放在方法区之中,但方法区该如何实现,《Java虚拟机规范》并未做出规定,这就成了一件允许不同虚拟机自己灵活把握的事情。
JDK 7及其以后版本的HotSpot虚拟机选择把静态变量与类型在Java语言一端的映射Class对象存放在一起,存储于Java堆之中,从我们的实验中也明确验证了这一点
方法区的内部结构
注意:下图中运行时常量池也是在方法区中的
字符串常量池在JDK 8中被存放在堆区
《深入理解Java虚拟机》书中对方法区(Method Area)存储内容描述如下:它用于存储已被虚拟机加载的类型信息、常量、静态变量、即时编译器编译后的代码缓存等。
类型信息
对每个加载的类型(类class、接口interface、枚举enum、注解annotation),JVM必须在方法区中存储以下类型信息:
- 这个类型的完整有效名称(全名=包名.类名)
- 这个类型直接父类的完整有效名(对于interface或是
java.lang.Object
,都没有父类) - 这个类型的修饰符(public,abstract,final的某个子集)
- 这个类型直接接口的一个有序列表
域(Field)信息
也就是我们常说的类的成员变量,域信息是比较官方的称呼
JVM必须在方法区中保存类型的所有域的相关信息以及域的声明顺序。
域的相关信息包括:域名称、域类型、域修饰符(public,private,protected,static,final,volatile,transient的某个子集)
方法(Method)信息
JVM必须保存所有方法的以下信息,同域信息一样包括声明顺序:
- 方法名称
- 方法的返回类型(或void)
- 方法参数的数量和类型(按顺序)
- 方法的修饰符(public,private,protected,static,final,synchronized,native,abstract的一个子集)
- 方法的字节码(bytecodes)、操作数栈、局部变量表及大小(abstract和native方法除外)
- 异常表(abstract和native方法除外)
每个异常处理的开始位置、结束位置、代码处理在程序计数器中的偏移地址、被捕获的异常类的常量池索引
示例:
1 | /** |
反编译字节码文件,并输出值文本文件中,便于查看。参数 -p
确保能查看 private 权限类型的字段或方法:
1 | javap -v -p MethodInnerStrucTest.class > test.txt |
1 | Classfile /F:/IDEAWorkSpaceSourceCode/JVMDemo/out/production/chapter09/com/atguigu/java/MethodInnerStrucTest.class |
分析上面字节码的内容:
类型信息
在运行时方法区中,类信息中记录了哪个加载器加载了该类,同时类加载器也记录了它加载了哪些类
1 | // 类型信息 |
域信息
descriptor
:表示字段类型为 Integerflags: ACC_PUBLIC
:表示字段权限修饰符为 public
1 | // 域信息 |
方法信息
descriptor: ()V
表示方法返回值类型为 voidflags: ACC_PUBLIC
表示方法权限修饰符为 publicstack=3
表示操作数栈深度为 3locals=2
表示局部变量个数为 2 个(实力方法包含 this)test1()
方法虽然没有参数,但是其args_size=1
,这时因为将 this 作为了参数
1 | public void test1(); |
non-final static 类静态成员变量
非 final 修饰的 static 类静态成员变量在 JDK 1.6 之前是存储在方法区的,但从 JDK 1.7 开始将存储在堆内。
类的静态成员变量和类关联在一起,随着类的加载而加载,他们成为类数据在逻辑上的一部分变量。其被类的所有实例共享,即使没有类实例时,你也可以访问它。
举例
- 如下代码所示,即使我们把
order
设置为null
,也不会出现空指针异常 - 这更加表明了
static
类型的字段和方法随着类的加载而加载,并不属于特定的类实例
1 | /** |
static final 全局常量
没有 final 修饰的普通成员变量并不会存放到方法区
全局常量就是使用 static final
进行修饰。每个全局常量在编译的时候就会被分配了。 这些常量将存储在运行时常量池中(在方法区内)
查看上面代码,这部分的字节码指令:
1 | class Order { |
字节码文件:
1 | public static int count; |
可以发现 staitc
和 final
同时修饰的 number
的值在编译的时候已经写死在字节码文件中了。
总结:
- 非
final
修饰的static
类静态成员变量在 JDK 1.6 之前是存储在方法区的,但从 JDK 1.7 开始将存储在堆内 final
修饰的常量在方法区的运行时常量池中保存
运行时常量池 VS 常量池
运行时常量池,就是运行时的常量池
- 方法区内部包含了运行时常量池
- 字节码文件内部包含了常量池
- 要弄清楚方法区,需要理解清楚ClassFile,因为加载类的信息都在方法区
- 要弄清楚方法区的运行时常量池,需要理解清楚ClassFile中的常量池
常量池
一个有效的字节码文件中除了包含类的版本信息、字段、方法以及接口等描述符信息外,还包含一项信息就是常量池表(Constant Pool Table),包括各种字面量和对类型、域和方法的符号引用
为什么需要常量池
一个java源文件中的类、接口,编译后产生一个字节码文件。而Java中的字节码需要数据支持,通常这种数据会很大以至于不能直接存到字节码里,换另一种方式,可以存到常量池,这个字节码包含了指向常量池的引用。在动态链接的时候会用到运行时常量池,之前有介绍。
比如:如下的代码:
1 | public class SimpleClass { |
虽然上述代码只有194字节,但是里面却使用了String
、System
、PrintStream
及Object
等结构。这里的代码量其实很少了,如果代码多的话,引用的结构将会更多,这里就需要用到常量池了。
常量池中有什么
- 数量值
- 字符串值
- 类引用
- 字段引用
- 方法引用
例如下面这段代码
1 | public class MethodAreaTest2 { |
将会被翻译成如下字节码
1 | new #2 |
其中带#的就是引用了常量池里的符号。
小结
常量池可以看做是一张表,虚拟机指令根据这张常量表(在类加载后,将存储了每个符号引用对应的物理地址)找到要执行的类名、方法名、参数类型、字面量等类型。
运行时常量池
运行时常量池(Runtime Constant Pool)是方法区的一部分。
常量池表(Constant Pool Table)是Class文件的一部分,用于存放编译期生成的各种字面量与符号引用,这部分内容将在类加载后存放到方法区的运行时常量池中。在加载类和接口到虚拟机后,就会创建对应的运行时常量池。
JVM为每个已加载的类型(类或接口)都维护一个常量池。池中的数据项像数组项一样,是通过索引访问的。
运行时常量池中包含多种不同的常量,包括编译期就已经明确的数值字面量,也包括到运行期解析后才能够获得的方法或者字段引用。此时不再是常量池中的符号地址了,在Linking阶段的Resolve阶段将符号引用转换为真实地址。这样就可以运行时常量池中定位到某个符号引用所对应的物理地址(例如某个方法字节码在方法区中的物理地址)
运行时常量池,相对于Class文件常量池的另一重要特征是:具备动态性。运行时常量池类似于传统编程语言中的符号表(symboltable),但是它所包含的数据却比符号表要更加丰富一些。
当创建类或接口的运行时常量池时,如果构造运行时常量池所需的内存空间超过了方法区所能提供的最大值,则JVM会抛OutOfMemoryError异常。
方法区使用举例
如下代码
1 | public class MethodAreaDemo { |
字节码执行过程展示
首先先将操作数500放入到操作数栈中
然后存储到局部变量表中
然后重复一次,把100放入局部变量表中,最后再将变量表中的500 和 100 取出,进行操作
将500 和 100 进行一个除法运算,在把结果入栈
在最后就是输出流,需要调用运行时常量池的常量
最后调用invokevirtual
(虚方法调用),然后返回
返回时
符号引用 –> 直接引用
- 上面代码调用
System.out.println()
方法时,首先需要看看System
类有没有加载,再看看PrintStream
类有没有加载 - 如果没有加载,则执行加载。在类加载的Resolve解析阶段时,将常量池中的符号引用(字面量)转换为运行时常量池的直接引用(真正的地址值)
程序计数器始终计算的都是当前代码运行的位置,目的是为了方便记录方法调用后能够正常返回,或者是进行了CPU切换后,也能回来到原来的代码进行执行。
设置方法区大小与 OOM
方法区的大小不必是固定的,JVM可以根据应用的需要动态调整。
JDK 7 及以前
- 通过
-XX:Permsize
来设置永久代初始分配空间。默认值是20.75M - 通过
-XX:MaxPermsize
来设定永久代最大可分配空间。32位机器默认是64M,64位机器模式是82M - 当JVM加载的类信息容量超过了这个值,会报异常
OutofMemoryError:PermGen space
JDK 8 以后
元数据区大小可以使用参数 -XX:MetaspaceSize
和 -XX:MaxMetaspaceSize
指定。默认值依赖于平台。Windows下,-XX:MetaspaceSize
是21M,-XX:MaxMetaspaceSize
的值是-1代表没有限制。
与永久代不同,如果不指定大小,默认情况下,虚拟机会耗尽所有的可用系统内存。如果元数据区发生溢出,虚拟机一样会抛出异常OutOfMemoryError:Metaspace
-XX:MetaspaceSize:
设置初始的元空间大小。对于一个64位的服务器端JVM来说,其默认的-XX:MetaspaceSize
值为21MB。这就是初始的高水位线,一旦触及这个水位线,Full GC将会被触发并卸载没用的类(即这些类对应的类加载器不再存活)然后这个高水位线将会重置。新的高水位线的值取决于GC后释放了多少元空间。如果释放的空间不足,那么在不超过MaxMetaspaceSize
时,适当提高该值。如果释放空间过多,则适当降低该值。
如果初始化的高水位线设置过低,上述高水位线调整情况会发生很多次。通过垃圾回收器的日志可以观察到Full GC多次调用。为了避免频繁地GC,建议将-XX:MetaspaceSize
设置为一个相对较高的值。
如何解决这些 OOM
要解决OOM异常或Heap space的异常,一般的手段是首先通过内存映像分析工具(如Eclipse Memory Analyzer)对dump出来的堆转储快照进行分析,重点是确认内存中的对象是否是必要的,也就是要先分清楚到底是出现了内存泄漏(Memory Leak)还是内存溢出(Memory Overflow)
内存泄漏就是有大量的引用指向某些对象,但是这些对象以后不会使用了,但是因为它们还和GC ROOT有关联,所以导致以后这些对象也不会被回收,这就是内存泄漏的问题
如果是内存泄漏,可进一步通过工具查看泄漏对象到GC Roots的引用链。于是就能找到泄漏对象是通过怎样的路径与GCRoots相关联并导致垃圾收集器无法自动回收它们的。掌握了泄漏对象的类型信息,以及GCRoots引用链的信息,就可以比较准确地定位出泄漏代码的位置。
如果不存在内存泄漏,换句话说就是内存中的对象确实都还必须存活着,那就应当检查虚拟机的堆参数(-Xmx与-Xms),与机器物理内存对比看是否还可以调大,从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况,尝试减少程序运行期的内存消耗。
为什么永久代要被元空间替代?
是JRockit和HotSpot融合后的结果,因为JRockit没有永久代,所以他们不需要配置永久代
随着Java8的到来,HotSpot VM中再也见不到永久代了。但是这并不意味着类的元数据信息也消失了。这些数据被移到了一个与堆不相连的本地内存区域,这个区域叫做元空间(Metaspace)。
由于类的元数据分配在本地内存中,元空间的最大可分配空间就是系统可用内存空间,这项改动是很有必要的,原因有:
- 为永久代设置空间大小是很难确定的
- 对永久代进行调优是很困难的(主要是为了降低Full GC)
永久代设置空间大小很难确定
在某些场景下,如果动态加载类过多,容易产生永久代Perm区的OOM。比如某个实际Web工程中,因为功能点比较多,在运行过程中,要不断动态加载很多类,经常出现致命错误:
1 | Exception in thread‘dubbo client x.x connector'java.lang.OutOfMemoryError:PermGen space |
而元空间和永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。因此,默认情况下,元空间的大小仅受本地内存限制。
永久代调优比较困难
有些人认为方法区(如HotSpot虚拟机中的元空间或者永久代)是没有垃圾收集行为的,其实不然。《Java虚拟机规范》对方法区的约束是非常宽松的,提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在(如JDK11时期的ZGC收集器就不支持类卸载)。
一般来说这个区域的回收效果比较难令人满意,尤其是类型的卸载,条件相当苛刻。但是这部分区域的回收有时又确实是必要的(GC较麻烦但也有必要)。以前sun公司的Bug列表中,曾出现过的若干个严重的Bug就是由于低版本的HotSpot虚拟机对此区域未完全回收而导致内存泄漏。
方法区的垃圾收集主要回收两部分内容:常量池中废弃的常量和不再使用的类型。但是类型的回收非常苛刻。
方法区的垃圾回收
面试题:方法区也有垃圾回收吗?有,分两种:常量池中废弃的常量和不再使用的类。类的回收条件非常苛刻,因为要等待其加载器也被回收等。
有些人认为方法区(如Hotspot虚拟机中的元空间或者永久代)是没有垃圾收集行为的,其实不然。《Java虚拟机规范》对方法区的约束是非常宽松的,提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在(如JDK 11时期的ZGC收集器就不支持类卸载)。
一般来说这个区域的回收效果比较难令人满意,尤其是类型的卸载,条件相当苛刻。但是这部分区域的回收有时又确实是必要的。以前sun公司的Bug列表中,曾出现过的若干个严重的Bug就是由于低版本的HotSpot虚拟机对此区域未完全回收而导致内存泄漏。
方法区的垃圾收集主要回收两部分内容:常量池中废弃的常量和不再使用的类。
常量的回收
先来说说方法区内常量池之中主要存放的两大类常量:字面量和符号引用。字面量比较接近Java语言层次的常量概念,如文本字符串、被声明为final
的常量值等。而符号引用则属于编译原理方面的概念,包括下面三类常量:
- 类和接口的全限定名
- 字段的名称和描述符
- 方法的名称和描述符
HotSpot虚拟机对常量池的回收策略是很明确的,只要常量池中的常量没有被任何地方引用,就可以被回收。回收废弃常量与回收Java堆中的对象非常类似。
类的回收
关于常量的回收比较简单,重点是类的回收,也称作类卸载
判定一个常量是否“废弃”还是相对简单,而要判定一个类型是否属于“不再被使用的类”的条件就比较苛刻了。需要同时满足下面三个条件:
- 该类所有的实例都已经被回收,也就是Java堆中不存在该类及其任何派生子类的实例。
- 加载该类的类加载器已经被回收,这个条件除非是经过精心设计的可替换类加载器的场景,如OSGi、JSP的重加载等,否则通常是很难达成的。
- 该类对应的
java.lang.Class
对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。
从而元空间中存储的类模板信息想要被回收必须要满足:该类的类加载器已经被回收(因为类加载器也会维护一个指针指向其加载的对象),但这显然是非常难达到的。
类对象、类的Class对象、该类的加载器以及方法区中的类模板信息关系如图:
Java虚拟机被允许对满足上述三个条件的无用类进行回收,这里说的仅仅是“被允许”,而并不是和对象一样,没有引用了就必然会回收。关于是否要对类型进行回收,HotSpot虚拟机提供了-Xnoclassgc
参数进行控制,还可以使用-verbose:class
以及 -XX:+TraceClass-Loading
、-XX:+TraceClassUnLoading
查看类加载和卸载信息
在大量使用反射、动态代理、CGLib等字节码框架,动态生成JSP以及OSGi这类频繁自定义类加载器的场景中,通常都需要Java虚拟机具备类型卸载的能力,以保证不会对方法区造成过大的内存压力。
运行时数据区总结
常见面试题
百度
三面:说一下JVM内存模型吧,有哪些区?分别干什么的?
蚂蚁金服:
Java8的内存分代改进
JVM内存分哪几个区,每个区的作用是什么?
一面:JVM内存分布/内存结构?栈和堆的区别?堆的结构?为什么两个survivor区?
二面:Eden和survior的比例分配
小米:
jvm内存分区,为什么要有新生代和老年代
字节跳动:
二面:Java的内存分区
二面:讲讲vm运行时数据库区
什么时候对象会进入老年代?
京东:
JVM的内存结构,Eden和Survivor比例。
JVM内存为什么要分成新生代,老年代,持久代。新生代中为什么要分为Eden和survivor。
天猫:
一面:Jvm内存模型以及分区,需要详细到每个区放什么。
一面:JVM的内存模型,Java8做了什么改
拼多多:
JVM内存分哪几个区,每个区的作用是什么?
美团:
java内存分配
jvm的永久代中会发生垃圾回收吗?
一面:jvm内存分区,为什么要有新生代和老年代?
直接内存
直接内存概述
直接内存(Direct Memory)不是虚拟机运行时数据区的一部分,也不是《Java虚拟机规范》中定义的内存区域。直接内存是在Java堆外的、直接向系统申请的内存区间。
元空间存储的类型信息、方法信息、域信息等都存储在直接内存中
直接内存来源于NIO,通过存在堆中的DirectByteBuffer
操作Native内存。
通常,访问直接内存的速度会优于Java堆。即读写性能高。
- 因此出于性能考虑,读写频繁的场合可能会考虑使用直接内存。
- Java的NIO库允许Java程序使用直接内存,用于数据缓冲区
使用下列代码,直接分配本地内存空间
1 | int BUFFER = 1024*1024*1024; // 1GB |
非直接缓存区和缓存区
原来采用BIO的架构,我们需要从用户态切换成内核态
NIO 使用了缓存区的概念,直接操作物理磁盘,省去了中间过程
直接内存与 OOM
直接内存也可能出下面OutOfMemoryError
异常
由于直接内存在Java堆外,因此它的大小不会直接受限于-Xmx
指定的最大堆大小,但是系统内存是有限的,Java堆和直接内存的总和依然受限于操作系统能给出的最大内存。
直接内存的缺点:
- 分配回收成本较高
- 不受JVM内存回收管理
直接内存大小可以通过MaxDirectMemorySize
设置。如果不指定,默认与堆的最大值-Xmx
参数值一致