Big-Data-Theory-and-Practice

《大数据理论与实践》课程学习材料仓库

1. 简介

本仓库是《大数据理论与实践》课程的学习材料集合，包含课程讲义、经典论文、参考书籍、环境配置指南和实践练习等内容。旨在为学习者提供系统性的大数据理论知识和实践技能培养。

---

2. 参考书籍

• 《数据密集型应用设计》（Designing Data-Intensive Applications）
• 《Hadoop 权威指南》第 4 版
• 《大数据处理框架 Apache Spark 设计与实现》

---

3 课程

以下是课程章节内容：

• 第一讲:

  • 原教材：第 01 讲-大数据技术综述
  • 1. 大数据发展的历史-从核心理念到生态演化
  • 参考资料
    • 大数据发展历史
    • 对比学习：Linux 文件系统

• 第二讲：

  • 原教材：第 02 讲-分布式协调服务 ZooKeeper
  • 1. 分布式系统概述 (PPT)
  • 2. Chubby 分布式锁服务 (PPT)
  • 3. Paxos 算法详解：分布式共识的理论基础 (PDF)
  • 4. ZooKeeper Leader 选举机制详解 (PPT)
  • 参考资料

• 第三讲：

  • 原教材：第 03 讲-分布式文件系统 HDFS（上）
  • 1. Google File System (GFS) - 大规模分布式存储系统的设计与实现 (PPT)
  • 2. HDFS 分布式文件系统原理与架构 (PPT)
  • 参考资料
    • HDFS 读写流程详解

• 第四讲：

  • 原教材：第 03 讲-分布式文件系统 HDFS（下）
  • 1. HDFS 关键概念复习文档 (PPT)
  • 2. HDFS 常见操作

• 练习一：

  • 练习 1：HDFS 操作

• 第五讲：

  • 原教材：第 04 讲-分布式计算框架 MapReduce
  • 1. MapReduce 核心原理 (PPT)
  • 学生使用指南

• 第六讲：

  • 原教材：第 05 讲-分布式资源管理系统 YARN
  • 1. YARN 分布式资源管理与调度 (PPT)
  • YARN 与 Kubernetes 底层隔离技术深度分析 (PPT)

• 练习二：

  • 练习二：YARN 资源管理实践

• 第七讲：

  • 原教材：第 06 讲-分布式计算框架 Spark
  • 1. Apache Spark 设计与实现 (PPT)
  • Spark on Kubernetes 架构及组件介绍 (PPT)
  • Spark 3.5 演示项目

• 第八讲:

  • 原教材：第 07 讲-数据仓库开发工具 Hive
  • 1. Apache Hive 设计与实现 (PPT)
  • 2. 列式存储：Parquet 文件格式解析 (PPT)
  • Parquet 实践练习
    • Parquet 实践项目

• 第九讲:

  • 原教材：第 08 讲-分布式 NoSQL 数据库 HBase
  • 1. Bigtable 论文详解 (PPT)
  • 2. HBase 设计与实现 (PPT)
  • 3. LSM-Tree 入门 (PPT)
    • LSM-Tree 实践项目)
  • 延伸：Feed 流系统架构演进综述
  • 辅助材料
    • 从 40 亿整数到 HBase：一个 Membership Test 问题的抽象与演化
    • Bigtable 作者演讲稿 (2005)
    • Bloom Filter 简介
    • LSM vs B-Tree

• 第十讲：

  • 原教材：第 09 讲-分布式消息队列 Kafka
  • 1. Kafka 设计与实现 (PPT)
  • 2. Kafka 日志收集架构设计案例
  • Kafka 实践示例

• 第十一讲：

  • 原教材：第 10 讲-分布式数据采集工具 Flume
  • 原教材：第 11 讲-分布式流处理框架 Flink
  • 1. 从 ETL 到流式计算入门 (PPT)
  • 2. Flink 设计与实现 (PPT)
  • 流式计算动手实践系列
  • 辅助材料
    • Lambda 与 Kappa 架构
    • State 与容错机制直观解释
    • Watermark 直观解释与示例
    • Window 机制与 Watermark 协同详解

• 第十二讲：

  • 原教材：第 12 讲-数据仓库与数据集市概述
  • 原教材：第 13 讲-数据湖概述
  • 1. 数仓分层架构详解 (PPT)
  • 2. Table Format 技术详解 (PPT)
  • 3. Iceberg 核心机制深度剖析 (PPT)
  • 4. 从数据仓库到湖仓一体：现代数据架构的演进与原理 (PPT)
  • 辅助材料
    • 从数据仓库到湖仓一体-教学设计与作业

• 其他：

  • Gossip 协议介绍
  • Gossip 协议实验

• 复习：

  • 复习 PPT
  • 章节复习提纲
  • 思考题参考答案

---

4. 参考论文

大数据领域的经典论文集合。

年份	技术/系统	论文标题	技术领域
2003	GFS	The Google File System	分布式文件系统
2004	MapReduce	MapReduce: Simplified Data Processing on Large Clusters	分布式计算框架
2006	Bigtable	Bigtable: A Distributed Storage System for Structured Data	分布式数据库
2006	Chubby	The Chubby lock service for loosely-coupled distributed systems	分布式锁服务
2007	Thrift	Thrift: Scalable cross-language services implementation	RPC 框架
2008	Hive	Hive: A warehousing solution over a map-reduce framework	数据仓库
2010	Dremel	Dremel: Interactive analysis of web-scale datasets	交互式查询引擎
2010	Spark	Spark: Cluster computing with working sets	内存计算框架
2010	S4	S4: Distributed stream computing platform	流计算平台
2011	Megastore	Megastore: Providing scalable, highly available storage for interactive services	分布式存储
2011	Kafka	Kafka: A distributed messaging system for log processing	消息队列系统
2012	Spanner	Spanner: Google's globally distributed database	全球分布式数据库
2014	Storm	Storm@Twitter	实时流处理
2014	Raft	In search of an understandable consensus algorithm	分布式一致性算法
2015	Dataflow	The dataflow model: A practical approach to balancing correctness, latency, and cost in massive-scale, unbounded, out-of-order data processing	流处理模型
2018	PolarFS	PolarFS: an ultra-low latency and failure resilient distributed file system for shared storage cloud database	云原生文件系统
2020	Delta Lake	Delta lake: high-performance ACID table storage over cloud object stores	数据湖存储
2021	Lakehouse	Lakehouse: A New Generation of Open Platforms for AI and Data Analytics	湖仓一体架构
2023	HTAP 综述	HTAP 数据库关键技术综述	混合事务分析处理
2024	云原生数据库综述	云原生数据库综述	云原生数据库
2024	Iceberg	Apache Iceberg: The Definitive Guide	表格式标准

5 环境搭建

Hadoop 环境配置指南和部署脚本

5.1 单节点集群部署（开发测试环境）

• 单节点集群配置指南 - 完整的单节点 Hadoop 集群部署教程
• 软件学院专用配置 - 针对软件学院环境的配置指南
• Windows 环境配置 - Windows 系统下的 Hadoop 配置

5.2 多节点集群部署（作业环境）

• 多节点集群配置指南 - 多节点集群部署
• 多用户环境配置 - 多用户共享集群配置
• 集群部署脚本 - 自动化部署脚本集合

---