- 离线评估无法消除过拟合的影响，因此离线评估结果无法代替线上的评估效果
- 离线评估过程中无法模拟线上的真实环境，例如数据丢失、样本反馈延迟
- 线上的某些商业指标例如收益、留存等无法通过离线计算
进行ab测试的主要手段时对用户进行分桶，即将用户分成实验组和对照组。实验组使用新模型，对照组使用base模型。分桶过程中需要保证样本的独立性和采样的无偏性，确保每个用户只划分到一个桶中，分桶过程中需要保证user id是一个随机数，才能保证数据无偏的。
欢迎关注微信公众号（算法工程师面试那些事儿)，本公众号聚焦于算法工程师面试，期待和大家一起刷leecode，刷机器学习、深度学习面试题等，共勉～
