数据生产与采集

数据生产是指数据从无到有的过程，也就是创造新数据或者以数据材料、原始数据为基础加工成为新数据或数据产品的过程。

数据生产的形式

• 用户主动参与生产，UGC（User Generated Content）
• 原始数据或数据材料通过加工、清洗、包装、质量控制、合规性审核等手段成为新数据或数据产品的过程。

数据生产的特征

• 实时性：以（移动）互联网、物联网（传感器）等为代表的实时数据快速流动，成为区分大数据与传统数据的重要特征。
• 大时空：具有时空标记，能够描述个体行为的时空大数据。
• 多场景：数据的产生与使用呈现出多场景的特点。

• 数据运营阶段
• 用户原创内容阶段
• 感知生产阶段

• （移动）互联网数据
• 物联网数据
• 商业数据
• 科学研究数据

系统日志

• 系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。
• 日志文件是由数据源系统自动生成的记录文件，以指定的文件格式记录信息。
• 常用的日志采集系统：Flume, Scibe, Chukwa, Kafka等。

传感器

网络爬虫