栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java并发 深入-9性能与可伸缩性

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java并发 深入-9性能与可伸缩性

0. 不得不说,40多块的理发体验是真的爽,不敢想~

时隔3个月,这次要完结精神续作了。。。

1. 对性能的思考

当操作性能由于某种特定的资源(CPU时钟周期、内存、网络带宽、I/O带宽、数据库请求、磁盘空间以及其他资源)而收到限制时,我们通常将该操作称为资源密集型的操作。

与单线程的程序相比,使用多个线程总会引入一些额外的性能开销:线程之间的协调、上下文切换、线程的创建销毁及其调度。如果过度使用线程,可能带来的开销超过提高吞吐量、响应性或者计算能力等的性能提升。

要想通过并发获取更好的性能,需要做到:
更好的利用现有的资源
当出现新的处理资源时,程序需要尽可能的利用这些资源(比如说:一个CPU密集型的程序中,CPU应该尽可能的保持忙碌的状态,如果只是增加处理器的个数,那么这将无济于事)

1.1 性能与可伸缩性

性能的一些指标:
工作完成的快慢:服务时间、等待时间
完成的工作多少:生产量、吞吐量

可伸缩性:
当增加资源的时候(CPU、内存、存储容量、I/O带宽),程序的吞吐量、处理能力可以相应的增加。

传统性能调优&可伸缩性调优

传统性能调优:用更小的代价(资源)完成相同的工作(借助缓存重用之前的计算结果、使用复杂度更好的算法)
可伸缩性调优:设法将问题的计算并行化,从而利用更多的资源完成更多的工作(讽刺的是,大多数提高单线程性能的技术,往往会破坏可伸缩性)

针对“多快”、“多少”的性能调优往往是相互独立的、甚至是对立的,这要求我们根据具体的应用场景(交互式应用程序?还是 服务器应用程序?)来选择。

1.2评估各种性能权衡因素

难以预先明确的需求:
对于大规模的数据集的执行效率上,“快排”的表现更好;
对于小规模的数据集的执行效率上,“冒泡”的表现会更好;
但对于编写某个库中的排序算法的开发人员来说,通常无法明确这些需求信息(需要处理数据集的大小、衡量优化的指标:平均计算时间、最差时间、可预知性)

通过增加某种形式的成本来降低某一种形式的开销:
代码牺牲可读性、可维护性来换取性能的提升(越聪明、晦涩的代码,越难以维护),例如:打破封装、双重检查锁(不遵守同步规则的一个常见的借口)

更糟糕的是,你的初衷可能是用安全性换取性能,但最终无功而返。

在市场的一些成熟的性能分析工具:免费的perfbar可以给出CPU的忙碌程度的信息

2. Amdahl 定律

在增加计算资源的情况下,程序在理论上能够实现最高加速比,这个值取决于程序中并行部分于串行部分的比重。(具体的公式百度即可)

串行的部分是不可避免的:
任务调度时:所有工作线程共享的一个工作队列
结果处理时:像日志等结果容器也会合并多个工作线程的结果

2.1 栗子:在各种框架中隐藏的串行部分

synchronized的linkedList采用整个的锁来保护队列的状态 -> offer、offer等方法均需要串行执行 -> 随处理器数量的增加(工作线程数量的增加) -> 队列的锁竞争增大(上下文切换) -> 吞吐量遇到了瓶颈

concurrentlinkedList采用无阻塞队列算法(原子引用来更新各个链接的指针) -> 只有对指针的更新需要串行操作

2.2 Amdahl定律的应用

本章节后面将介绍两种降低锁粒度的技术:锁分解、锁分段。

通常我们发现,锁分段技术似乎更有前途,锁的分段数量可以随处理器数量的增加而增加

3. 线程引入的开销 3.1 上下文切换

上下文切换的开销并不只是包含JVM和操作系统的开销。当一个新的线程被切换进来时,它所需要的数据可能不再当前处理器的缓存中,这将导致缺失一部分的缓存,因此线程的首次调度将更加缓慢。这也是为什么调度器会为每个可运行的线程分配最小执行时间,即便是存在有其他等待执行的线程(此时可能执行线程的工作已经完成了,但还是必须走完"最小执行时间"):它将上下文切换的开销分摊到更多不会中断的执行时间上,从而提高 整体 的吞吐率。

当线程由于等待某个发生竞争的锁的时候,JVM会将这个线程挂起,并允许它交换出去。因此,程序中发生的阻塞越多,吞吐量也就将会相应的降低。

UNIX的vmstat命令以及windows的perfmon工具可以报告上下文切换的次数以及在内核中执行时间所占的比例等信息。(如果内核占用率较高,则通常表示调度越频繁,很可能是IO或竞争造成的)

3.2 内存同步

在synchronized和voliatie提供的可见性保证中可能会使用一些特殊指令,即内存栅栏。内存栅栏可以刷新缓存,使内存无效。

内存栅栏同样可能对性能间接带来影响,因为他们将抑制一些编译器的优化操作,在内存栅栏中,大多数的操作都不能被重排序的。

在评估同步操作带来的性能影响时,区分竞争/非竞争的同步非常重要。synchronized机制针对无竞争的同步进行了优化(volatile通常是非竞争的),非竞争的同步开销对性能的影响已经微乎其微了。

现代的JVM能通过优化来去掉一些不会发生竞争的锁(例如:只能由当前线程访问的锁),从而减少不必要的同步开销。一些更完备的JVM能通过逸出分析来找出不会发布到堆的本地对象引用,不会逸出,因此可以去掉一些对锁的获取操作。

编译器还可以执行锁粒度粗化——将相邻的同步块合并起来,减少同步开销。

不必过度担心非竞争同步带来的开销,JVM还可以进行一些额外的优化,我们应该将优化重心放在那些发生锁竞争的地方。

同步会增加共享内存总线上的通信量,总线的带宽是有限的,并且所有的处理器都将共享这条总线。如果有多个线程在竞争同步带宽,那么所有使用了同步的线程都会受到影响(激烈的竞争下,非阻塞算法能比基于锁的算法产生更多的同步信号量)。

3.3 阻塞

JVM在出现阻塞行为时,会根据历史的等待时间选择处理方式,最终达到减少上下文切换的目的:
等待时间较短,则采用自旋等待的方式,不断尝试获取锁
等待时间较长,则通过操作系统将线程挂起(大多数JVM都会这么做)

4.减少锁的竞争

在并发程序中,对可伸缩性的最主要影响因素就是独占的资源锁。

有两个因素将影响在锁上发生竞争的可能性:锁的请求频率、持有时长。

4.1 缩小锁的范围("快进快出"来减少锁的持有时长)

尽可能的减小同步代码块,特别是一些大量的计算或阻塞操作。

4.2 减小锁的粒度(平均减少每个锁的请求频率)

原先使用一整个锁(全局锁)来保护所有的资源,现在将对全局锁的请求分布到多个细粒度的锁上面去,可以有效减少锁竞争程度。

主要的实现方案:锁分解、锁分段 以及 其他一些替代独占锁的方法

4.3.1 锁分解

对于竞争适中的锁,可以使用锁分解,通过将一个锁分解为两个锁,在性能和吞吐量上带来提升,实际上是把这些锁转变为非竞争的锁。(竞争不激烈时分解锁来提升性能,可能导致竞争的增加,使得拐点下降,无法进一步提高伸缩性)。

使用前:两个集合共用一个锁

使用后:

4.3.2 锁分段

举个栗子帮助李姐:ConcurrentHashMap使用分段锁——使用16(默认)个锁构成的数组来分别保护一部分的元素,其中第N个散列桶由第N mod 16个锁来保护。

锁分段带来的问题:
与采用单个锁来实现独占访问相比,要获取多个锁来实现独占访问的开销会更大(concurrentHashMap.size()及其扩容需要重新散列的方法)。

如果使用一个全局的计数器来解决这个问题(每次map.put/remove时调用这个计数器),那么计数器将变成引入的一个’热点域’,因为元素的变化都不需要访问它。

concurrentHashMap对此的解决方案是分段来维护这个计数器,然后将其累加起来,避免一次性独占访问所有锁。

仿写的分段锁并发容器:

4.3.3 一些替代独占锁的方法

放弃使用独占锁,转而使用 并发容器、读-写锁、原子变量。

读-写锁:写的时候独占;读的时候共享
原子变量:
	静态计数器、序列变化器 或者 对链表结构的头节点的引用
	在整数、对象引用上的细粒度原子操作(可伸缩性更高),并使用现代处理器提供的底层并发原语(CAS等)
4.4 检测CPU的利用率(可伸缩性的测试)

书上推荐了一下能够给出CPU忙碌状况的工具:
UNIX的vmstat、mpstat;
Windows的perfmon;

CPU没有被充分利用——有些CPU很忙,有些却在划水。

CPU没有充分利用的常见原因:

负载不充足
	客户端没有能提供使被测程序饱和的负载
I/O密集	
	通过iostat和perfmon来判断是否磁盘IO密集型
	也可以通过监测网络流量级别来判断它是否需要提高带宽
外部限制
	数据库、web服务密集型
锁竞争
	通过分析工具可以知道程序中存在何种程度的锁竞争,以及哪些个锁
	也可以随机取样的方式来触发一些线程转储,如果转储发生在竞争激烈的线程,由于存在等待某个锁的线程被阻塞,那么其转储信息将频繁的出现在对应的栈帧(waiting to lock monitor...)
		非竞争的锁很少会出现在线程转储中
4.5 向对象池说"不"

JVM的早期版本中,对象分配和垃圾回收等操作的执行速度非常慢,但后续版本中,这些操作的性能得到了极大的提高。

为了解决“缓慢”的对象生命周期问题,许多开发人员都选择使用对象池技术来循环利用对象,而不是由垃圾回收器回收并在需要时重新分配。这在并发程序中表现得很糟糕,因此这需要某种同步来完成对对象池数据结构的访问。

5.减少上下文切换的开销

当任务在运行与阻塞这两个状态之间转换时,就相当于一次上下文切换。

书中给出对基于println包装的日志框架的一次改进:

剥离到另一条专门的后台线程上执行,减少线程阻塞、上下文切换
log方法的线程只需将内容put到消息队列(用于输出流)中,降低被阻塞的概率,提高吞吐量
通过将IO操作从请求的线程转移到一个专门的线程,分工更加明确,竞争减少
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/952595.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号