- 8. SkyWalking 微服务链路追踪
- 8.1 介绍 SkyWalking
- 8.2 Skywalking---服务搭建
- 8.3 SkyWalking---接入服务
- 8.3.1 windows 环境---在IDEA中使用 Skywalking
- 8.3.2 Linux 环境---通过 jar 包方式接入
- 8.3.3 SkyWalking跨多个微服务跟踪
- 8.3.4 SkyWalking---使用MySQL持久化
- 8.3.5 SkyWalking---自定义链路追踪
- 8.4 Skywalking---性能剖析
- 8.5 Skywalking---集成日志框架
- 8.6 SkyWalking---告警功能
8.1 介绍 SkyWalking
链路追踪的介绍
对于一个大型的几十个、几百个微服务构成的微服务架构系统,通常会遇到下面一些问题:
- 如何串联整个调用链路,快速定位问题
- 如何缕清各个微服务之间的依赖关系
- 如何进行个各位服务接口的性能分析
- 如何跟踪整个业务流程的调用处理顺序
Skywalking 是什么
Skywalking 是一个国产开源框架,2015年由吴晟开源,2017年加入 Apache 孵化器。Skywalking 是分布式系统的应用程序性能监视工具,专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。它是一款优秀的 APM(Application Performance Management)工具,包括了分布式追踪、性能指标分析、应用和服务以来分析等
官网:https://skywalking.apache.org/
下载:https://skywalking.apache.org/downloads/
Github:https://github.com/apache/skywalking
文档:https://skywalking.apache.org/docs/main/v8.5.0/readme/
中文文档:https://skyapm.github.io/document-cn-translation-of-skywalking/
链路追踪框架对比
-
ZipKin 是 Twitter 开源的调用链路分析工具,目前基于 SpringCloud sleuth 得到了广泛的使用,特点是轻量,使用部署简单
-
Pinpoint 是韩国人开源的基于字节码注入的调用链分析,以及应用监控分析工具。特点是支持多种插件,UI 功能强大,接入端无代码侵入
-
Skywalking 是本土开源的基于字节码注入的调用链路分析,以及应用监控分析工具。特点是支持多种插件,UI 功能强大,接入端无代码侵入。目前已加入 Apache 孵化器
-
CAT 是大众点评开源的基于编码和配置的调用链路分析,应用监控分析,日志采集,监控报警等一系列的监控平台工具
| 项目 | CAT | ZipKin | Skywalking |
|---|---|---|---|
| 调用链可视化 | 有 | 有 | 有 |
| 聚合报表 | 非常丰富 | 少 | 较丰富 |
| 服务依赖图 | 简单 | 简单 | 比较好 |
| 埋点方式 | 侵入式 | 侵入式 | 非侵入式,字节码增强 |
| VM 监控指标 | 好 | 无 | 有 |
| 支持语言 | java/.net | 丰富 | java/.net/Node.js/php/go |
| 存储机制 | mysql(报表)、本地文件/HDFS(调用链) | 内存、es、mysql等 | H2、es、mysql等 |
| 社区支持 | 主要在国内 | 国外主流 | Apache 支持 |
| 使用案例 | 美团、携程、陆金所 | 京东、阿里定制后不开源 | 华为、小米、当当、微众银行 |
| APM | 是 | 否 | 是 |
| 开发基础 | eBay cal | Google Dapper | Google Dapper |
| 是否支持 webflux | 否 | 是 | 是 |
| Github | 12.3k | 12.2k | 11.8k |
性能对比
模拟了三中国并发用于:500,750,100 使用 JMeter 测试,每个线程发送30个请求,设置思考时间为10ms。使用的采样率为1,即100%,这边与生产可能有差别。Pinpoint 默认的采样率为20,即50%,通过设置 agent 的配置文件改为100%。ZipKin 默认也是1.组合起来一共有12种
从上表可以看出,在三种链路监控组件中,Skywalking 的探针对吞吐量的影响最小,ZipKin 的吞吐量剧中。Pinpoint 的探针吞吐量的影响较为明显,在500并发用户时,测试服务的吞吐量从1385降低到774,影响很大。然后再看下CPU和memory影响,在内部服务器进行的压测,对CPU和memory的影响都差不多在10%
Skywalking 主要功能特性
- 多种监控手段,可以通过语言探针和 service mesh 获得监控的数据
- 支持多种语言自动探针,包括 Java,.NET Code 和 Node.JS
- 轻量高效、无需大数据平台和大量的服务器资源
- 模块化,UI、存储、集群管理都有多种机制可选
- 支持告警
- 优秀的可视化解决方案
- Skywalking Agent 和业务系统绑定在一起,负责收集各种监控数据
- Skywalking Oapservice 是负责处理监控数据的,比如接收 Skywalking Agent 的监控数据,并存储在数据库种;接收 Skywalking Webapp 的前端请求,从数据库查询数据,并返回数据给前端。Skywalking Oapservice 通常以集群的形式存在
- Skywalking Webapp,前端界面,用于展示数据
- 用于存储监控数据的数据库,比如 MySQL、Elasticsearch等
下载 SkyWalking
https://skywalking.apache.org/downloads/
【注意】不要将解压后的文件放在带有"空格"的文件夹下,这样会导致 xxx.bat文件运行时闪退
目录结构
-
webapp:UI 前端(web 监控页面)的 jar 包和配置文件
-
oap-libs:后台应用的 jar 包,以及它的依赖 jar 包,里边有一个 server-starter-*.jar 就是启动程序
-
config:启动后台应用程序的配置文件,是使用的各种配置文件
-
bin:各种启动脚本,一般使用脚本 startup.* 来启动 web页面 和对应的 后台应用
- oapService.*:默认使用的后台程序和启动脚本:(使用的是默认模式启动,还支持其它模式,各种模式区别见 启动模式)
- oapServiceInit.*:使用 init 模式启动;再次模式下,OAP 服务器启动以执行初始化工作,然后退出
- oapServiceNoInit.*:使用 No Init 模式启动;在此模式下, OAP 服务不进行初始化
- startup.*:组合脚本,同时启动 oapService. *;webappService. * 脚本
-
agent:(在搭建微服务的时候会用到)
- skywalking-agent.jar:代理服务 jar 包
- config:代理服务启动时使用的配置文件
- plugins:包含多个插件,代理服务启动时会加载该目录下的所有插件(实际是各种 jar 包)
- optional-plugins:可选插件,当然需要支持某种功能时,比如 SpringCloud Gateway,则需要把对应的 jar 包拷贝到 plugins 目录下
skywalking-web-ui 服务会占用 8080 端口,修改端口可以修改 /webapp/webapp.yml
Windows 启动/bin/目录下的 startup.bat 会自动执行 oapService.bat和 webappService.bat
启动成功后,一个是 skywalking-oap-server,一个是 skywalking-web-ui:8868
skywalking-oap-server 服务启动后会暴露 11800 和 12800 两个端口,分别为收集监控数据的端口 11800 和接收前端请求的端口 12800 ,修改端口可以修改 /config/application.yml
日志信息存储在 /logs/目录下
8.3 SkyWalking—接入服务 8.3.1 windows 环境—在IDEA中使用 Skywalking在运行的程序配置jvm参数,如下图所示:
# skywalking-agent.jar 的本地磁盘路径 -javaagent:D:Filesapache-skywalking-apm-bin-es7agentskywalking-agent.jar # 在 skywalking 上显示的服务名 -DSW_AGENT_NAME=api-gateway # skywalking 的 collector 服务的IP及端口 -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
- 配置springcloud-gateway-8088下的 application.yml文件
server:
port: 8088
spring:
application:
# 服务名称
name: api-gateway
cloud:
# 配置 Nacos
nacos:
discovery:
server-addr: 192.168.159.100:7070,192.168.159.100:7080,192.168.159.100:7090
username: nacos
password: nacos
inetutils:
# 配置忽略的网卡信息
ignored-interfaces: 'VMware Virtual Ethernet Adapter for VMnet1,VMware Virtual Ethernet Adapter for VMnet8'
# gateway 配置
gateway:
# 路由规则
routes:
- id: consumer_route # 路由的唯一标识,路由到consumer
uri: lb://springcloud-consumer-dept # 从nacos中按照服务名获取微服务 lb: 使用nacos中的本地负载均衡策略
# 断言规则 用于路由规则的匹配
predicates:
- Path=/consumer
@Override
@Trace
@Tag(key = "getAllOrders",value = "returnedObj")
public List getAllOrders() {
return orderMapper.getAllOrders();
}
@Override
@Tags({
@Tag(key = "param",value = "arg[0]"),
@Tag(key = "getOrderById",value = "returnedObj")
})
public Order getOrderById(Integer id) {
return orderMapper.getOrderById(id);
}
- 在springcloud-provider-order-seata-8006模块下引入依赖
seata com.vinjcent 0.0.1-SNAPSHOT 4.0.0 springcloud-provider-order-seata-8006 8 8 com.alibaba.cloud spring-cloud-starter-alibaba-nacos-discovery org.springframework.cloud spring-cloud-starter-openfeign com.alibaba.cloud spring-cloud-starter-alibaba-seata org.apache.skywalking apm-toolkit-trace 8.5.0 src/main/resources ***.yml ***.properties ***.xml true
- 修改 OrderController.class
@SuppressWarnings("all")
@RestController
@RequestMapping("/order")
public class OrderController {
@Autowired
private OrderService orderService;
@RequestMapping("/add")
public String addOrder(){
Order order = new Order();
order.setProductId(9)
.setStatus("下单成功")
.setTotalAmount(100);
// 插入订单信息
orderService.addOrder(order);
return "下单成功";
}
@RequestMapping("/get/{id}")
public Order getOrder(@PathVariable("id") Integer id){
return orderService.getOrderById(id);
}
@RequestMapping("/getAll")
public List getAllOrders(){
return orderService.getAllOrders();
}
}
- 修改 OrderServiceImpl.class
@SuppressWarnings("all")
@Service
public class OrderServiceImpl implements OrderService {
@Autowired
private StockService stockService;
@Autowired
private OrderMapper orderMapper;
@GlobalTransactional
@Override
@GlobalLock
public int addOrder(Order order) {
int result = orderMapper.addOrder(order);
// 扣减库存
stockService.reductStock(order.getProductId());
// 模拟异常
int a = 1/0;
return result;
}
@Override
@Trace
@Tags({
@Tag(key = "param",value = "arg[0]"),
@Tag(key = "getOrderById",value = "returnedObj")
})
public Order getOrderById(Integer id) {
return orderMapper.getOrderById(id);
}
@Override
@Trace
@Tag(key = "getAllOrders",value = "returnedObj")
public List getAllOrders() {
return orderMapper.getAllOrders();
}
@Override
public int deleteOrder(Integer id) {
return orderMapper.deleteOrder(id);
}
@Override
public int updateOrder(Order order) {
return orderMapper.updateOrder(order);
}
}
- 重新启动springcloud-provider-order-seata-8006
- 访问http://localhost:8088/order/getAll
- 访问http://localhost:8088/order/get/22
logback官方配置
log4j官方配置
log4j-2.x官方配置
测试
在springcloud-provider-order-seata-8006模块下操作一下步骤
- 引入依赖
添加的版本需要保持与服务端版本一致
seata com.vinjcent 0.0.1-SNAPSHOT 4.0.0 springcloud-provider-order-seata-8006 8 8 com.alibaba.cloud spring-cloud-starter-alibaba-nacos-discovery org.springframework.cloud spring-cloud-starter-openfeign com.alibaba.cloud spring-cloud-starter-alibaba-seata org.apache.skywalking apm-toolkit-trace 8.5.0 org.apache.skywalking apm-toolkit-logback-1.x 8.5.0 src/main/resources ***.yml ***.properties ***.xml true
- 添加 logback-spring.xml文件在 resources/目录下,并配置 [%TID]
logback-spring.xml文件
-%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} [%tid] %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}
- 启动springcloud-provider-order-seata-8006
- 在springcloud-gateway-8088服务下访问springcloud-provider-order-seata-8006下的接口
Skywalking 通过 grpc 上报日志(需要v8.4.0+)
gRPC 报告程序可以收集到的日志转发到 SkyWalking OAP 服务器上,这样就不需要每次都在控制面板中查看日志信息了
logback-spring.xml中添加
-%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} [%tid] %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}} %d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n
【注意】如果 SkyWalking 服务不是部署在本地,日志无法上报到 SkyWalking 需要修改 agentconfig目录下的agent.config文件
将下面信息复制到文件底部
plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:127.0.0.1}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}
| 配置名 | 解释 | 默认值 |
|---|---|---|
| plugin.toolkit.log.transmit_formatted | 是否格式化或未格式化的格式传输记录的数据 | true |
| plugin.toolkit.log.grpc.reporter.server_host | 指定要向其报告日志数据的 grpc 服务器的主机 | 127.0.0.1 |
| plugin.toolkit.log.grpc.reporter.server_port | 指定要向其报告日志数据的 grpc 服务器的端口 | 11800 |
| plugin.toolkit.log.grpc.reporter.max_message_size | 指定 grpc 客户端要报告的日志数据的最大大小 | 10485760 |
| plugin.toolkit.log.grpc.reporter.upstream_timeout | 客户端向上游发送数据时将超时多长时间。单位是秒 | 30 |
SkyWalking 告警功能是在 6.x 版本新增的,其核心由一组规则驱动,这些规则定义在 coonfig/alarm-settings.yml文件中。告警规则的定义分为两部分:
- 告警规则:它们定义了应该如何触发度量报警,应该考虑什么条件
- Webhook(网络钩子):定义当警告触发时,哪些服务终端需要被告知
告警规则
SkyWalking 的发行版都会默认提供 config/alarm-settings.yml文件,里面预先定义了一些常用的告警规则,如下:
- 在过去 3 分钟内服务平均响应时间超过 1 秒
- 在过去 2 分钟服务成功率低于 80%
- 在过去 3 分钟内服务响应时间超过 1s 的百分比
- 服务实例在过去 2 分钟平均响应时间超过 1s,并且实例名称与正则表达式匹配
- 过去 2 分钟内端点平均响应时间超过 1s
- 过去 2 分钟内数据库访问平均响应时间超过 1s
- 过去 2 分钟内端点关系平均响应时间超过 1s
这些预定义的告警规则,打开 config/alarm-settings.yml文件即可查到
告警规则配置项的说明
- Rule name:规则名称,也是在告警信息中显示的唯一名称。必须以rule结尾,前缀可自定义
- Metrics name:度量名称,取值为 oal 脚本中的度量名,目前只支持 long、double 和 int 类型。详见Official OAL script
- Include names:该规则作用于哪些实体名称,比如服务名、终端名(可选、默认为全部)
- Exclude names:该规则不做用于哪些实体名称,比如服务名、终端名(可选、默认为空)
- Threshold:阈值
- OP:操作符,目前支持 >、<、=
- Period:多久告警规则需要被核实一下。这是一个时间窗口,与后端部署环境时间相匹配
- Count:在一个 Period 窗口中,如果 values 超过 Threshold 值(按op),达到 Count 值,需要发送警报
- Slience period:在时间 N 中触发警报后,在 TN -> TN + period 这个阶段不告警。默认情况下,它和 Period 一样,这意味着相同的告警(在同一个 Metrics name 拥有相同的id)在同一个 Period 内只会触发一次
Webhook(网络钩子)
Webhook 可以简单理解为一种 Web 层面的回调机制,通常由一些事件触发,与代码中的事件回调类似,只不过是 Web 层面的,所以当事件发生时,回调的不再是代码中的方法或函数,而是服务接口。例如,在告警这个场景,告警就是一个事件。当该事件发生时,SkyWalking 就会主动去调用一个配置好的接口,该接口就是所谓的 Webhook
Skywalking 的告警信息会通过 HTTP 请求进行发送,请求方法为 POST,Content-Type 为 application/json,其 JSON 数据基于 List
[{
"scopeId": 1,
"scope": "SERVICE",
"name": "serviceA",
"id0": "12",
"id1": "",
"ruleName": "service_resp_time_rule",
"alarmMessage": "alarmMessage xxxx",
"startTime": 1560524171000
}, {
"scopeId": 1,
"scope": "SERVICE",
"name": "serviceB",
"id0": "23",
"id1": "",
"ruleName": "service_resp_time_rule",
"alarmMessage": "alarmMessage yyy",
"startTime": 1560524171000
}]
- scopeId, scope. 所有范围都在 org.apache.skywalking.oap.server.core.source.DefaultScopeDefine 中定义
- name. 目标范围实体名称。请按照实体名称定义
- id0. 范围实体的 ID 与名称匹配。使用关系范围时,它是源实体 ID
- id1. 使用关系范围时,它将是目标实体 ID。否则,它是空的
- ruleName. 您在 中配置的规则名称alarm-settings.yml
- alarmMessage. 报警消息
- startTime. 告警时间以毫秒为单位,介于当前时间和 UTC 时间 1970 年 1 月 1 日午夜之间
测试
- 在springcloud-gateway-8088添加SwAlarmController.class
package com.vinjcent.springcloud.controller;
import com.vinjcent.springcloud.pojo.SwAlarmMessage;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
import java.util.logging.Logger;
@RestController
@RequiredArgsConstructor
@RequestMapping("/alarm")
public class SwAlarmController {
Logger log = Logger.getLogger(this.getClass().getName());
@PostMapping("/receive")
public void receive(@RequestBody List alarmList){
// SimpleMailMessage mailMessage = new SimpleMailMessage();
// // 发送者邮箱
// mailMessage.setFrom("from");
// // 接收者邮箱
// mailMessage.setTo("to");
// // 主题
// mailMessage.setSubject("主题");
// // 邮件内容
// String content = getContent(alarmList);
// mailMessage.setText("content");
// sender.send(mailMessage);
String content = getContent(alarmList);
log.info("告警邮箱已发送..."+content);
}
private String getContent(List alarmList){
StringBuilder sb = new StringBuilder();
alarmList.forEach(message -> sb.append("scopeId: ").append(message.getScopeId())
.append("nscope: ").append(message.getScope())
.append("n目标 Scope 的实体类名称: ").append(message.getName())
.append("nScope 实体类的 ID: ").append(message.getId0())
.append("nid1: ").append(message.getId1())
.append("n告警规则名称: ").append(message.getRuleName())
.append("n告警消息内容: ").append(message.getAlarmMessage())
.append("n告警时间: ").append(message.getStartTime())
.append("n标签: ").append(message.getTags())
.append("nn-----------------nn "));
return sb.toString();
}
}
- 添加实体类 SwAlarmMessage .class
package com.vinjcent.springcloud.pojo;
//import org.apache.skywalking.oap.server.core.analysis.manual.searchtag.Tag;
import java.util.List;
public class SwAlarmMessage {
private int scopeId;
private String scope;
private String name;
private String id0;
private String id1;
private String ruleName;
private String alarmMessage;
private List tags;
private long startTime;
private transient int period;
private transient boolean onlyAsCondition;
public static class Tag{
private String key;
private String value;
public String getKey() {
return key;
}
public void setKey(String key) {
this.key = key;
}
public String getValue() {
return value;
}
public void setValue(String value) {
this.value = value;
}
}
public int getScopeId() {
return scopeId;
}
public void setScopeId(int scopeId) {
this.scopeId = scopeId;
}
public String getScope() {
return scope;
}
public void setScope(String scope) {
this.scope = scope;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getId0() {
return id0;
}
public void setId0(String id0) {
this.id0 = id0;
}
public String getId1() {
return id1;
}
public void setId1(String id1) {
this.id1 = id1;
}
public String getRuleName() {
return ruleName;
}
public void setRuleName(String ruleName) {
this.ruleName = ruleName;
}
public String getAlarmMessage() {
return alarmMessage;
}
public void setAlarmMessage(String alarmMessage) {
this.alarmMessage = alarmMessage;
}
public List getTags() {
return tags;
}
public void setTags(List tags) {
this.tags = tags;
}
public long getStartTime() {
return startTime;
}
public void setStartTime(long startTime) {
this.startTime = startTime;
}
public int getPeriod() {
return period;
}
public void setPeriod(int period) {
this.period = period;
}
public boolean isOnlyAsCondition() {
return onlyAsCondition;
}
public void setOnlyAsCondition(boolean onlyAsCondition) {
this.onlyAsCondition = onlyAsCondition;
}
}



