栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

共享多核系统的缓存一致性

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

共享多核系统的缓存一致性

背景

由于技术发展与性能需求,产生了多核心处理器,由于CPU处理速度远高于内存响应速度,为了更好的提高CPU效率,于是增加了高速缓存。在程序运行时,会先将运行需要的数据复制到高速缓存中,CPU直接对高速缓存中数据进行操作,然后在适当的时间,将高速缓存中的数据同步到主存

共享多核系统

计算核心与高速缓存

  • 缓存行:数据是以缓存行为基础单位存储在高速缓存中的,一般为32-256个字节,常见的是64个字节
缓存一致性问题

当一个线程A,B同时修改某个数据,假如core1先修改,修改了缓存在core1的高速缓存中的值,但是未同步到主存,然后core2从主存加载的值,并不是core1修改后的值,于是出现了缓存不一致问题

实现缓存一致性过程
总线:核心与内存进行数据交互的通道

 

总线锁

为了解决会出现的缓存不一致问题,产生了一个对总线进行加锁的指令,当cpu1对主存中的数据进行操作时,能够通过lock指令对总线加锁,防止其他核心去访问主存,直到cpu1将数据同步到主存并释放总线锁之后,其他核心才能访问主存,从而解决缓存不一致问题

  • 实现简单,但是开销大,严重降低了CPU的处理效率
MESI

MESI是一种常见的实现了缓存一致性的协议,它只会对单个缓存行的数据进行加锁处理,不会影响其他数据的读写(对于总线锁,相当于降低了锁的粒度),给缓存行定义了4种状态以及对应的行为

MESI States

状态

描述

任务

Modify

缓存行有效

数据已修改,和内存不一致

该数据只存在于本核心

必须监听所有试图读取该缓存行对应的内存的操作,监听到之后需将数据同步到主存,并将缓存行状态置为E之后,其他核心才能操作该内存数据

Exclusive

缓存行有效

数据与内存一致

该数据只存在于本核心

必须监听其他核心读取该缓存对应的主存的操作,监听到之后,要将缓存行状态改为S

Shared

缓存行有效

数据与内存一致

在多个CPU高速缓存中存在

必须监听其他核心修改该缓存对应的主存的操作,监听到之后,要将缓存行状态改为I(那个进行了修改操作的核心的缓存行状态就是M)

Invalid

缓存行无效

所谓的监听,就是核心根据缓存行状态的变化向其他核心发出通知,在得到其他核心应答之后再改变缓存行状态

 

MESI Protocol Messages
还有其他的几种,这里只列出接下来需要使用的4种

消息

描述

Read

包含了要读取缓存行的物理地址

Read Response

包含的是从内存或者是其他高速缓存中获取数据

Invalidate

包含的是要过期的缓存行地址,让其他cache中的缓存行过期,并作出回应

Read Invalidate

包含的是从内存或者是其他高速缓存中获取数据,并让其他cache中的缓存行过期并回应,相当于Read Response 和 Invalidate的结合

MESI优化

由于MESI要通知其他核心去改变缓存行状态,这是一个同步请求,为了将这个过程变成异步的,于是引入了store buffer

store buffer

 

假设Cpu1和Cpu2都缓存了变量flag=true,Cpu1要将flag改为false

  1. 将flag=false的修改操作写入到store buffer
  2. 通知Cpu2缓存行失效,然后Cpu1可以执行其他指令
  3. Cpu2执行完失效指令,返回ACK给到stroe buffer
  4. Store buffer 执行第一步写入flag=false的指令,将Cpu1中的flag修改为false

 

a = 1;
b = a + 1;
assert(b == 2);

 

由于store buffer将a=1同步到cache中的时间不确定,且cpu读取数据的时候不能从store buffer中读取,所以造成了以上结果
store forwarding

cpu能够直接从store buffer中读取数据,而不必通过cache

 

int a=0;int b=0;
void foo() {
    a = 1;
    b = 1;
}
void bar() {
    while (b == 0) 
        continue;
    assert(a == 1);
}
 

在此种情况下会出现foo()方法中实际b=1比a=1先执行完成,严重破坏了编码的直观性,且在多线程下会出现意料之外的情况

写屏障指令

CPU提供了一些内存屏障指令,比如Linux屏障指令smp_wmb。CPU执行写屏障指令的效果就是收到ACK之后,把store buffer中的数据全部刷新到cache,然后再执行后续操作(或者是将写屏障后面的所有写操作都放到store buffer中)

int a=0;int b=0;
 void foo() {
    a = 1;
    smp_wmb()
    b = 1;
}
void bar() {
    while (b == 0) 
        continue;
    assert(a == 1)
}

Invalidate Queue

由于写屏障会导致在收到ACK之前,将后续的写操作全部放到store buffer中,会导致store buffer被占满,然后一直等待其他核心返回ACK,于是有了Invalid Queue(失效队列),将数据失效操作方法队列之后,就返回ACK

int a=0;int b=0;
 void foo() {
    a = 1;
    smp_wmb()
    b = 1;
}
void bar() {
    while (b == 0) 
        continue;
    assert(a == 1)
}

 

读屏障指令

核心在执行smp_rmb()指令时,会先把invalidate queue中的数据处理掉之后,在执行读屏障后续的读取操作

int a=0;int b=0;
 void foo() {
    a = 1;
    smp_wmb()
    b = 1;
}
void bar() {
    while (b == 0) 
        continue;
    smp_rmb();
    assert(a == 1)
}
在CPU层面,它只关心单线程执行时,多核CPU是否能够达到缓存一致性,通过MESI协议,即使没有读写内存屏障,也足以实现缓存一致性,但是从软件层面考虑,如果没有读写内存屏障,多线程情况下执行时是会存在指令重拍的(就如上述的在后面的代码先执行完成)
伪共享

假设一个缓存行有8个long类型数据,线程2只使用了其中的1个数据。那么就会有7个其它与自己无关的,却又和自己需要的元素在同一个缓存行的数据令自己进行无效更新,这个过程就是伪共享。

JDK8提供的伪共享解决方案

// @Contended
public static class ContendedTest5 {
    @Contended("updater1")
    private Object contendedField1;

    @Contended("updater1")
    private Object contendedField2;

    @Contended("updater2")
    private Object contendedField3;

    private Object plainField5;
    private Object plainField6;
}
// TestContended$ContendedTest5: field layout
@ 12 --- instance fields start ---
@ 12 "plainField5" Ljava.lang.Object;
@ 16 "plainField6" Ljava.lang.Object;
@148 "contendedField1" Ljava.lang.Object; (contended, group = 12)
@152 "contendedField2" Ljava.lang.Object; (contended, group = 12)
@284 "contendedField3" Ljava.lang.Object; (contended, group = 15)
@416 --- instance fields end ---
@416 --- instance ends ---
ConcurrentHashMap源码
// CounterCell 记录每个分区的个数
@sun.misc.Contended static final class CounterCell {
    volatile long value;
    CounterCell(long x) { value = x; }
}

CPU层面为什么会提供内存屏障指令
  1. 因为CPU运行速度与内存读取速度的差异,所有有了高速缓存
  2. CPU层面只关注单线程情况下计算是否正确,并要尽可能提高运行效率,所有有了缓存一致性协议以及相关调高效率而做出的优化型操作,优化型操作导致了指令重排
  3. 在软件层面,多线程情况下这些指令重排往往是致命的,影响线程安全性,所有在CPU层面提供了内存屏障指令(即使没有,Lock指令也一样能达到效果,无非就是效率低一点)
参考文档

Memory Barriers: a Hardware View for Software Hackers

RFR (S): JEP-142: Reduce Cache Contention on Specified Fields

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/970083.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号