栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2021年11月29日课二

2021年11月29日课二

一、大数据时代究竟改变了什么——思维方式

(一)、数据重要性

数据资源→数据资产(增值)

(二)、方法论

基于知识的理论完美主义(专家判断)→基于数据的历史经验主义

(三)、数据分析

统计学(抽样)→数据科学(大数据)

数据科学家(大数据+算法+业务知识)

(四)、计算智能

复杂算法→简单算法

(五)、决策方面

目标决策→数据决策

(六)、业务方面

基于业务数据化→基于数据业务化

(七)、产业竞合

以产业为中心→以数据为中心

二、大数据4V特征

(一)、数据量大

(二)、数据种类多

结构化数据

非结构化数据:图像;音频

半结构化数据

(三)、速度快

数据增长快

数据处理速度快

(四)、价值密度低

价值密度=有价值数据÷ALL

三、大数据项目架构—以电信日志分析为例

(一)、项目名称:电信日志分析系统

(二)、项目描述:用户访问日志数据和用户安全日志数据

(三)、项目架构分析

数据采集层→数据存储层→数据分析层→机器学习层→数据展示层

(四)、项目职责

(五)、项目优化

四、机器学习-人工智能发展

(一)、人工智能三次浪潮

跳棋:专家系统—IBM公司

象棋:统计模型—IBM公司

围棋:深度学习—DeepMind

(二)人工智能应用场景

图像识别;无人驾驶;智能翻译;语音识别;医疗智能诊断;数据挖掘

五、人工智能>机器学习>深度学习

机器学习是人工智能一个分支(数据挖掘;模式识别也是分支)

深度学习是机器学习的一种方法,用于图像识别

人工智能落地依靠机器学习

六、数据分析、数据挖掘、机器学习关系

数据:观测值

信息:可信的数据

数据分析:从数据到信息

数据挖掘:信息进行价值化

模式识别:图像识别

七、了解机器学习

(一)、机器学习=机器+学习=CPU+GPU(图形图像处理器)+数据+算法

(二)、如何判断为机器去学习

特定问题:确定性事件;基础统计问题—不需要机器学习

看是否有预测过程

八、基于规则学习和基于模型的学习

基于规则的学习是硬编码的方式进行学习

基于模型通过数据构建机器学习模型,通过模型预测

机器模型是学习模型;学习模型的k和b(参数)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618289.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号