Introduction of Big Data

• 过于复杂以至于人无法直接观察并找出数据间的规律
• 规模过大需要使用distributed computing
• 需要合适的算法优化效率进行分析，否则时间成本很高
• 数据包含很多的feature和dimensions
• 数据可能告诉产生并不断变化

Big data 6V

• Volume：数据量
• Variety：数据类型的多样性
• Velocity：数据产生和处理的速度
• Veracity：数据的可信度和质量
• Value：数据能产生的价值
• Variability：数据含义/分布/规律随时间变化

Source of big data

• Social Data：用户在互联网上的活动，如视频/推文/评论
• Machine Data：机器/传感器/系统自动产生，如温度/摄像头
• Transactional Data：商业/交易产生，如订单/库存记录/发票

Why big data

• 收集数据的成本很低
• 存储数据的成本也很低
• 使用distributed computing的成本也很低

Big Data Analytics

• 当数据量较小时，standalone workstation(单机)就可以完成分析：