搭建日志管理系统要做如下事
前端开发确定要收集的信息及途径,确定埋点代码,编写javascript日志收集脚本,后端开发需要设计日志格式,编写后端脚本,做日志切分。
一、前端开发
网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页、点击某按钮,将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等)。前端的收集策列如下,首先用户的行为会触发浏览器对被统计页面的一个http请求,当页面被打开,页面中的埋点javascript片段会被执行,这个代码片段一般会动态创建一个script标签,并将src指向一个单独的js文件,此时这个单独的文件会被浏览器请求到并执行,这个js往往就是真正的数据收集脚本。数据收集完成后,js会请求一个后端的数据收集脚本,这个脚本一般是一个伪装成图片的动态脚本程序,可能由php,python或其他服务端语言编写,js会将收集到的数据通过http参数的方式传递给后端脚本,后端脚本解析参数并按固定格式记录到访问日志,同时也可以在http响应中给客户端种植一些用于追踪的cookie。
二、后端
1、利用log4j,维护独立的日志组件,包含日志的创建时间,线程名称,日志级别,所属类,消息,写入非关系型数据库中,比如Mongodb,生成日志文件。
2、系统异常日志写在过滤器中,.net mvc继承HandleError异常过滤器,此类日志是排查问题的主要依据
3、业务日志记录,每个用户每天产生唯一的trackid,每操作一条记录时,根据操作时间才生一个用户排序的字段作为参数保存,根据trackid及参数来查询用户的业务操作行为
4、搭建网址,根据后端设计好的日志格式,利用日志监控工具连接日志文件,查询系统的各类日志



