云計算與大數(shù)據(jù)處理技術(shù)

培訓(xùn)目標

1，深入理解通過云計算實現(xiàn)海量數(shù)據(jù)處理的思想、方法與實踐。

2，理解安全性和可用性設(shè)計的問題、方法與實踐。

3，掌握把傳統(tǒng)數(shù)據(jù)中心改造成云計算中心的技術(shù)與方法。

4，掌握虛擬化技術(shù)的核心技術(shù)方法以及應(yīng)用特征。

培訓(xùn)受眾:

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2，牽涉到海量數(shù)據(jù)處理的機構(gòu)數(shù)據(jù)中心運行、規(guī)劃、設(shè)計負責(zé)人。

3，云服務(wù)運營服務(wù)提供商規(guī)劃負責(zé)人。

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項目負責(zé)人。

課程收益:

1，深入理解通過云計算實現(xiàn)海量數(shù)據(jù)處理的思想、方法與實踐。

2，理解安全性和可用性設(shè)計的問題、方法與實踐。

3，掌握把傳統(tǒng)數(shù)據(jù)中心改造成云計算中心的技術(shù)與方法。

4，掌握虛擬化技術(shù)的核心技術(shù)方法以及應(yīng)用特征。

課程大綱:

第一講 云計算的概念與現(xiàn)狀

1）云計算的概念

2）云計算發(fā)展現(xiàn)狀

3）云計算實現(xiàn)機制

4）云計算的發(fā)展環(huán)境

5）云計算的優(yōu)勢

第二講 從Google云計算體系，理解海量數(shù)據(jù)處理的方法

1）如何構(gòu)建海量存儲文件系統(tǒng)？

GFS系統(tǒng)架構(gòu)

GFS容錯機制

GFS系統(tǒng)管理技術(shù)

MapReduce產(chǎn)生背景

MapReduce編程模型

MapReduce實現(xiàn)機制

MapReduce案例分析

2）如何提供鎖服務(wù)解決分布式數(shù)據(jù)一致性問題？

Chubby的設(shè)計思路

Chubby中的Paxos算法

Chubby文件系統(tǒng)

3）如何建立規(guī)模龐大的高性能表結(jié)構(gòu)？

BigTable設(shè)計目標

BigTable系統(tǒng)架構(gòu)

BigTable服務(wù)器

BigTable性能優(yōu)化

4）如何建立高可用性和高可擴展性的數(shù)據(jù)系統(tǒng)？

Megastore設(shè)計目標

Megastore數(shù)據(jù)模型

Megastore事務(wù)及并發(fā)控制

Megastore基本架構(gòu)

Dapper監(jiān)控系統(tǒng)

Dapper關(guān)鍵性技術(shù)

Dapper工具

第三講 從Hadoop云計算項目，進一步研究云數(shù)據(jù)處理方法

1）HDFS：高可靠性處理機制及應(yīng)用

Hadoop項目簡介

HDFS體系結(jié)構(gòu)

HDFS關(guān)鍵運行機制

Hadoop vs Google

Hadoop API

Hadoop環(huán)境搭建

2）Hadoop：龐大、極其稀疏的可擴展性數(shù)據(jù)模型

Hadoop簡介

Hadoop的運行機制

Hadoop與 HDFS

Hadoop的對外接口

ZooKeeper的數(shù)據(jù)模型

ZooKeeper的讀寫機制

ZooKeeper的使用方法

第四講 從Windows Azure，理解平臺即服務(wù)的本質(zhì)

1）微軟云計算平臺

2）微軟云操作系統(tǒng)Windows Azure

3）微軟云關(guān)系數(shù)據(jù)庫SQL Azure

4）Azure AppFabric

5）Azure Marketplace

第五講 從Amazon云計算，討論如何提供云服務(wù)

1）Dynamo基礎(chǔ)存儲架構(gòu)

2）彈性計算云EC2

3）簡單存儲服務(wù)S3

4）簡單隊列服務(wù)SQS

5）簡單數(shù)據(jù)庫服務(wù)Simple DB

6）關(guān)系數(shù)據(jù)庫服務(wù)RDS

7）內(nèi)容推送服務(wù)CloudFront

第六講 實施云計算的關(guān)鍵點：安全策略

1）云計算安全是一個必須前期重視的策略

2）云計算的特征與安全挑戰(zhàn)

3）云計算的安全體系與關(guān)鍵技術(shù)

4）基礎(chǔ)架構(gòu)云安全框架

5）云計算安全平臺

第七講 當前數(shù)據(jù)中心如何向云計算環(huán)境轉(zhuǎn)變

1）VMware云產(chǎn)品

2）云管理平臺 vCenter

3）vCloud Service Director

4）VMware的網(wǎng)絡(luò)和存儲虛擬化

5）主流商業(yè)云計算解決方案比較

6）主流開源云計算系統(tǒng)比較

7）國內(nèi)代表性云計算平臺比較

第八講 基礎(chǔ)設(shè)施即服務(wù)（IaaS）關(guān)鍵實現(xiàn)技術(shù)

1）IaaS技術(shù)體系概述

2）服務(wù)器虛擬化技術(shù)

CPU虛擬化

內(nèi)存虛擬化

I/O虛擬化

3）存儲虛擬化技術(shù)

存儲系統(tǒng)概述

存儲設(shè)備層的存儲虛擬化

塊聚合層的存儲虛擬化

文件/記錄層的存儲虛擬化

4）主機網(wǎng)絡(luò)虛擬化

第九講 軟件即服務(wù)（SaaS）關(guān)鍵實現(xiàn)技術(shù)

1）SaaS技術(shù)概述

2）呈現(xiàn)層技術(shù)綜述

3）調(diào)度層技術(shù)

基于DNS的調(diào)度

基于虛擬IP的調(diào)度

基于鏈路聚合的調(diào)度

基于應(yīng)用的調(diào)度

調(diào)度策略

4）業(yè)務(wù)層

5）數(shù)據(jù)層

6）用戶管理和配置管理

7）用戶體驗的設(shè)計

8）課程總結(jié)