智维数据【智能运维技术专题】概览
随着互联网不断发展，为了适应高并发、大流量业务，负载均衡技术在整个IT架构中占据着重要地位。
F5作为全球领先的应用交付厂商，为全球大型企业、运营商、政府与消费品牌提供更加快速、安全以及智能的应用。
随着语音、数据、视频流量、移动员工和应用的迅猛增长，F5在满足企业和机构IT需求的同时，也抓住了市场的潜在机遇。通过收购Nginx，进一步巩固了市场地位。
智维数据（nCompass）通过与F5 LTM、F5 GTM、Nginx对接，助力企业实现业务长期稳定运行。
1、通过iControl集中管理所有F5设备，减少IT人员维护成本。
2、通过HSL获取Http、DNS、系统日志，并进一步分析处理，助力企业保障业务稳定运行。
3、通过Telemetry Streaming，监控设备性能指标，助力企业保障设备稳定运行。
4、通过Nginx日志分析网站运行情况，助力企业保障业务稳定运行。
5、通过综合数据分析实现端到端的可视化，助力IT人员更加了解自己业务架构。
上一章我们介绍了如何利用F5的HSL来收集日志，并做了具体场景分析。本章我们介绍如何使用Telemetry Streaming来完善F5监控，并做具体的场景分析。
数据可视化之F5 Telemetry Streaming
2.1 F5 Telemetry Streaming是什么
F5 Telemetry Streaming(TS)是独立于TMOS的RPM包，作为iControl LX扩展。规范化将统计信息和事件从BIG-IP转发到消费者，例如Fluentd、ES、S3存储等。
2.2 F5 Telemetry Streaming优点
上一章我们介绍了如何利用F5的HSL来收集日志，那TS的优点是什么呢？免去一系列复杂的格式匹配，可以把系统状态和业务日志的进行收集和整合，然后输出到指定的消费者。
2.3 F5 Telemetry Streaming架构
TS两个核心组件:
1、Event Listener主要用于接收事件日志。
2、System Poller收集统计信息。例如：设备统计信息，VS、Pool统计信息等
2.4 F5 Telemetry Streaming应用场景
TS可以收集日志信息进行分析。和HSL应用场景是一样的，这里不在赘述。除了日志以外就是统计信息。
LTM:
○设备监控：有了TS可以替代SNMP监控方式。TS可以监控磁盘使用率、磁盘IO、接口状态和流量、内存、cpu、连接数等信息 。
○资产梳理：获取设备的基本信息。例如版本、许可、接口信息等。可以进行资产的管理和统计，包含许可到期提醒等。
○集群信息维护：可以清楚知道目前哪个设备是处于Active，配置是否有同步。防止主设备出现问题的时候备用设备配置不一致。
○生命周期管理：设备license、https证书管理，可以在过期前进行预警。
○应用梳理：通过流量和连接数可以筛选无效配置。通过irules规则命中统计，可以筛选高频使用的irule结合基础监控优化irules规则。
GTM:
GTM和LTM统计信息少有区别，除了LTM设备监控、资产处理、集群信息维护、生命周期管理以外，还有如下场景：
○应用梳理：可以统计 wideip、pool等信息，包括状态是否启用等。
○配置优化：可以统计具体配置项来分析哪些配置不合理。例如，应该配置topology的，结果走了轮询策略等。
2.5 配置Telemetry Streaming
目前F5消费TS数据支持pull和push两种方式。
○pull：是F5主动发给第三方中间件。例如，kafka、fluend、Elasticsearch等
○push：是主动拉去F5的数据。最典型的就是prometheus
此处我们使用push方式把TS数据发给fluend。
1、下载rpm包并导入到F5设备,通过github下载最新的rpm包
https://github.com/F5Networks/f5-telemetry-streaming/releases/download/v1.20.0/f5-telemetry-1.20.0-3.noarch.rpm
2、导入rpm包到F5设备。找到如下图位置点击import
3、选择刚才下载好的⽂件进⾏导⼊，如下图：
4、导⼊成功后会在列表⾥⾯显示，如下图：
5、安装好rpm包，我们要通过F5设备接⼝来进⾏数据配置。此处我是⽤postman来进⾏数据post操作
○因为F5需要登录操作，我们要设置账户密码（必须是管理员账户才可以）
○选择headers我们使⽤json格式
○选择body输⼊我们要向F5接⼝post的具体数据如下图：
此时我是将数据push到fluend。其中systemPoller⾥⾯的interval 60是每隔60s push⼀次数据。Consumer使⽤的fluend，path是fluentd⽤到的tag
○点击send验证提交结果如下图，出现success表示正常提交
2.6 fluend安装与配置
1、安装，执⾏如下命令
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent4.sh | sh
2、 配置，为了⽅便看到⽇志输出内容我暂时先把内容打印到了stdout vi /etc/td-agent/td-agent.conf
3、重启服务
systemctl restart td-agent
4、验证
通过查看⽇志可以知道TS数据已经进来了，密密麻麻看不懂是什么。我们做⼀个格式转换，可以看到已经输出了指标数据：system、widips、vs、pool、irules等。
2.7 N-Compass⽇志分析平台
通过上⾯配置我们已经获取了F5 http⽇志和系统⽇志。接下来就是如何分析，N-Compass可以根据不同场景灵活定制视图，使得客户更加了解⾃⼰的业务。遇到突发问题可以快速定位，甚⾄是提前预警。
基础监控：
F5 GTM：
F5 LTM：
下期预告
随着微服务越来越多，服务端的各个服务直接暴露给客户端调⽤势必会引起各种问题，应⽤客户端如何与微服务交互的问题也随之⽽来，毕竟服务数量的增加会直接导致部署、认证授权、负载均衡、调⽤管理等难度增加。因此API⽹关应运⽽⽣。下⼀期我们来通过收集API⽇志，分析相关指标数据，为企业持续赋能。
