由于技术发展与性能需求,产生了多核心处理器,由于CPU处理速度远高于内存响应速度,为了更好的提高CPU效率,于是增加了高速缓存。在程序运行时,会先将运行需要的数据复制到高速缓存中,CPU直接对高速缓存中数据进行操作,然后在适当的时间,将高速缓存中的数据同步到主存
共享多核系统
计算核心与高速缓存
- 缓存行:数据是以缓存行为基础单位存储在高速缓存中的,一般为32-256个字节,常见的是64个字节
当一个线程A,B同时修改某个数据,假如core1先修改,修改了缓存在core1的高速缓存中的值,但是未同步到主存,然后core2从主存加载的值,并不是core1修改后的值,于是出现了缓存不一致问题
实现缓存一致性过程总线:核心与内存进行数据交互的通道
总线锁
为了解决会出现的缓存不一致问题,产生了一个对总线进行加锁的指令,当cpu1对主存中的数据进行操作时,能够通过lock指令对总线加锁,防止其他核心去访问主存,直到cpu1将数据同步到主存并释放总线锁之后,其他核心才能访问主存,从而解决缓存不一致问题
- 实现简单,但是开销大,严重降低了CPU的处理效率
MESI是一种常见的实现了缓存一致性的协议,它只会对单个缓存行的数据进行加锁处理,不会影响其他数据的读写(对于总线锁,相当于降低了锁的粒度),给缓存行定义了4种状态以及对应的行为
MESI States| 状态 | 描述 | 任务 |
| Modify | 缓存行有效 数据已修改,和内存不一致 该数据只存在于本核心 | 必须监听所有试图读取该缓存行对应的内存的操作,监听到之后需将数据同步到主存,并将缓存行状态置为E之后,其他核心才能操作该内存数据 |
| Exclusive | 缓存行有效 数据与内存一致 该数据只存在于本核心 | 必须监听其他核心读取该缓存对应的主存的操作,监听到之后,要将缓存行状态改为S |
| Shared | 缓存行有效 数据与内存一致 在多个CPU高速缓存中存在 | 必须监听其他核心修改该缓存对应的主存的操作,监听到之后,要将缓存行状态改为I(那个进行了修改操作的核心的缓存行状态就是M) |
| Invalid | 缓存行无效 |
所谓的监听,就是核心根据缓存行状态的变化向其他核心发出通知,在得到其他核心应答之后再改变缓存行状态
MESI Protocol Messages
还有其他的几种,这里只列出接下来需要使用的4种
| 消息 | 描述 |
| Read | 包含了要读取缓存行的物理地址 |
| Read Response | 包含的是从内存或者是其他高速缓存中获取数据 |
| Invalidate | 包含的是要过期的缓存行地址,让其他cache中的缓存行过期,并作出回应 |
| Read Invalidate | 包含的是从内存或者是其他高速缓存中获取数据,并让其他cache中的缓存行过期并回应,相当于Read Response 和 Invalidate的结合 |
由于MESI要通知其他核心去改变缓存行状态,这是一个同步请求,为了将这个过程变成异步的,于是引入了store buffer
store buffer
假设Cpu1和Cpu2都缓存了变量flag=true,Cpu1要将flag改为false
- 将flag=false的修改操作写入到store buffer
- 通知Cpu2缓存行失效,然后Cpu1可以执行其他指令
- Cpu2执行完失效指令,返回ACK给到stroe buffer
- Store buffer 执行第一步写入flag=false的指令,将Cpu1中的flag修改为false
a = 1; b = a + 1; assert(b == 2);
由于store buffer将a=1同步到cache中的时间不确定,且cpu读取数据的时候不能从store buffer中读取,所以造成了以上结果store forwarding
cpu能够直接从store buffer中读取数据,而不必通过cache
int a=0;int b=0;
void foo() {
a = 1;
b = 1;
}
void bar() {
while (b == 0)
continue;
assert(a == 1);
}
在此种情况下会出现foo()方法中实际b=1比a=1先执行完成,严重破坏了编码的直观性,且在多线程下会出现意料之外的情况
写屏障指令CPU提供了一些内存屏障指令,比如Linux屏障指令smp_wmb。CPU执行写屏障指令的效果就是收到ACK之后,把store buffer中的数据全部刷新到cache,然后再执行后续操作(或者是将写屏障后面的所有写操作都放到store buffer中)
int a=0;int b=0;
void foo() {
a = 1;
smp_wmb()
b = 1;
}
void bar() {
while (b == 0)
continue;
assert(a == 1)
}
Invalidate Queue
由于写屏障会导致在收到ACK之前,将后续的写操作全部放到store buffer中,会导致store buffer被占满,然后一直等待其他核心返回ACK,于是有了Invalid Queue(失效队列),将数据失效操作方法队列之后,就返回ACK
int a=0;int b=0;
void foo() {
a = 1;
smp_wmb()
b = 1;
}
void bar() {
while (b == 0)
continue;
assert(a == 1)
}
读屏障指令
核心在执行smp_rmb()指令时,会先把invalidate queue中的数据处理掉之后,在执行读屏障后续的读取操作
int a=0;int b=0;
void foo() {
a = 1;
smp_wmb()
b = 1;
}
void bar() {
while (b == 0)
continue;
smp_rmb();
assert(a == 1)
}
在CPU层面,它只关心单线程执行时,多核CPU是否能够达到缓存一致性,通过MESI协议,即使没有读写内存屏障,也足以实现缓存一致性,但是从软件层面考虑,如果没有读写内存屏障,多线程情况下执行时是会存在指令重拍的(就如上述的在后面的代码先执行完成)伪共享
假设一个缓存行有8个long类型数据,线程2只使用了其中的1个数据。那么就会有7个其它与自己无关的,却又和自己需要的元素在同一个缓存行的数据令自己进行无效更新,这个过程就是伪共享。
JDK8提供的伪共享解决方案
// @Contended
public static class ContendedTest5 {
@Contended("updater1")
private Object contendedField1;
@Contended("updater1")
private Object contendedField2;
@Contended("updater2")
private Object contendedField3;
private Object plainField5;
private Object plainField6;
}
// TestContended$ContendedTest5: field layout
@ 12 --- instance fields start ---
@ 12 "plainField5" Ljava.lang.Object;
@ 16 "plainField6" Ljava.lang.Object;
@148 "contendedField1" Ljava.lang.Object; (contended, group = 12)
@152 "contendedField2" Ljava.lang.Object; (contended, group = 12)
@284 "contendedField3" Ljava.lang.Object; (contended, group = 15)
@416 --- instance fields end ---
@416 --- instance ends ---
ConcurrentHashMap源码
// CounterCell 记录每个分区的个数
@sun.misc.Contended static final class CounterCell {
volatile long value;
CounterCell(long x) { value = x; }
}
CPU层面为什么会提供内存屏障指令
-
因为CPU运行速度与内存读取速度的差异,所有有了高速缓存
-
CPU层面只关注单线程情况下计算是否正确,并要尽可能提高运行效率,所有有了缓存一致性协议以及相关调高效率而做出的优化型操作,优化型操作导致了指令重排
-
在软件层面,多线程情况下这些指令重排往往是致命的,影响线程安全性,所有在CPU层面提供了内存屏障指令(即使没有,Lock指令也一样能达到效果,无非就是效率低一点)
Memory Barriers: a Hardware View for Software Hackers
RFR (S): JEP-142: Reduce Cache Contention on Specified Fields



