一、大数据时代究竟改变了什么——思维方式
(一)、数据重要性
数据资源→数据资产(增值)
(二)、方法论
基于知识的理论完美主义(专家判断)→基于数据的历史经验主义
(三)、数据分析
统计学(抽样)→数据科学(大数据)
数据科学家(大数据+算法+业务知识)
(四)、计算智能
复杂算法→简单算法
(五)、决策方面
目标决策→数据决策
(六)、业务方面
基于业务数据化→基于数据业务化
(七)、产业竞合
以产业为中心→以数据为中心
二、大数据4V特征
(一)、数据量大
(二)、数据种类多
结构化数据
非结构化数据:图像;音频
半结构化数据
(三)、速度快
数据增长快
数据处理速度快
(四)、价值密度低
价值密度=有价值数据÷ALL
三、大数据项目架构—以电信日志分析为例
(一)、项目名称:电信日志分析系统
(二)、项目描述:用户访问日志数据和用户安全日志数据
(三)、项目架构分析
数据采集层→数据存储层→数据分析层→机器学习层→数据展示层
(四)、项目职责
(五)、项目优化
四、机器学习-人工智能发展
(一)、人工智能三次浪潮
跳棋:专家系统—IBM公司
象棋:统计模型—IBM公司
围棋:深度学习—DeepMind
(二)人工智能应用场景
图像识别;无人驾驶;智能翻译;语音识别;医疗智能诊断;数据挖掘
五、人工智能>机器学习>深度学习
机器学习是人工智能一个分支(数据挖掘;模式识别也是分支)
深度学习是机器学习的一种方法,用于图像识别
人工智能落地依靠机器学习
六、数据分析、数据挖掘、机器学习关系
数据:观测值
信息:可信的数据
数据分析:从数据到信息
数据挖掘:信息进行价值化
模式识别:图像识别
七、了解机器学习
(一)、机器学习=机器+学习=CPU+GPU(图形图像处理器)+数据+算法
(二)、如何判断为机器去学习
特定问题:确定性事件;基础统计问题—不需要机器学习
看是否有预测过程
八、基于规则学习和基于模型的学习
基于规则的学习是硬编码的方式进行学习
基于模型通过数据构建机器学习模型,通过模型预测
机器模型是学习模型;学习模型的k和b(参数)



