Introduction of Big Data

• 过于复杂以至于人无法直接观察并找出数据间的规律
• 规模过大需要使用distributed computing
• 需要合适的算法优化效率进行分析，否则时间成本很高
• 数据包含很多的feature和dimensions
• 数据可能告诉产生并不断变化

Big data 6V

• Volume：数据量
• Variety：数据类型的多样性
• Vf big data
• Social Data：用户在互联网上的活动，如视频/推文/评论
• Machine Data：机器/传感器/系统自动产生，如温度/摄像头
• Transactional Data：商业/交易产生，如订单/库存记录/发票

Why big data

• 收集数据的成本很低
• 存储数据的成本也很低
• 使用distributed computing的成本也很低

Big Data Analytics

• 当数据量较小时，standalone workstation(单机)就可以完成分析
• 而大数据分析则是研究如何利用不同的工具方法技术对庞大且复杂的数据集进行分析，并系统的从中提取有价值的insight and information
• The purpose of computing is insight, not numbers.

Components of Big Data

• Bid Data Libraries：提供大数据分析所需的算法与功能库，如MLlib,NetworkX
• Distributed Computing：使用多台计算机并行处理大量数据，如Dask,MapReduce,Spark
• Big Data Distributed Storage：分布式大规模存储数据，如HDFS,Key-value stores
• Analytics and Algorithm：对数据进行具体分析，如Similarity Search,Recommendation System,Link Analysis

Data Analytics Process

• 提出问题 → 获取并处理数据 → 探索数据 → 建模分析 → 得出结论并支持决策

链接