基于Hadoop集群的節(jié)能優(yōu)化技術研究

【摘要】：計算機集群的廣泛應用給人們帶來方便的同時，也帶來了能耗問題，如何有效地利用能源，降低不必要的能耗已成為一個迫切需要解決的關鍵問題。作為目前最熱門的海量數據處理框架，Hadoop被部署到越來越多的集群上。但是Hadoop卻一直沒有引入節(jié)能的特性，因此對Hadoop集群的節(jié)能優(yōu)化技術進行研究是非常有必要的。 基于現有的研究成果，結合Hadoop本身的機架感知特性和副本存放策略，提出了根據集群的負載情況調整集群規(guī)模來改善集群能源利用率的節(jié)能方案。節(jié)能方案為集群添加兩個功能模塊：集群負載監(jiān)控模塊和集群規(guī)模調整模塊。負載監(jiān)控模塊負責監(jiān)控集群的利用率，當監(jiān)控到利用率過高或過低時會通知集群規(guī)模調整模塊對集群規(guī)模進行調整。集群規(guī)模調整模塊包含兩個重要的算法：退役節(jié)點算法和重用節(jié)點算法，集群利用率過低時會啟動退役節(jié)點算法，通過退役節(jié)點來減少集群中活躍節(jié)點數量，以提高集群能源利用率，集群利用率過高時會啟動重用節(jié)點算法來增加集群活躍節(jié)點數量，以提高集群對任務請求的響應速度。 通過使用GridSim工具包來對系統(tǒng)進行仿真實驗，實驗中對比了未使用節(jié)能策略的集群狀態(tài)和應用節(jié)能策略的集群狀態(tài)，驗證了退役節(jié)點算法和重用節(jié)點算法確實能夠根據集群的負載來改變集群的規(guī)模，實驗結果表明在算法執(zhí)行過程中可以使集群節(jié)能30%以上。 【關鍵詞】：集群 節(jié)能優(yōu)化 存儲系統(tǒng) 規(guī)模調整 利用率
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-6
• 目錄6-8
• 1 緒論8-14
• 1.1 課題研究的背景與意義8-9
• 1.2 課題的來源9
• 1.3 國內外的研究現狀9-12
• 1.4 本文主要內容安排12-14
• 2 基于 Hadoop 的節(jié)能技術初探14-24
• 2.1 Hadoop 框架簡介14-16
• 2.2 機架感知和副本存放16-19
• 2.3 集群節(jié)能技術19-23
• 2.4 本章小結23-24
• 3 Hadoop 集群節(jié)能優(yōu)化算法設計24-45
• 3.1 總體設計24-25
• 3.2 集群的負載指標25-27
• 3.3 集群負載監(jiān)控模塊27-30
• 3.4 集群規(guī)模調整模塊30-44
• 3.5 本章小結44-45
• 4 仿真實驗及結果分析45-55
• 4.1 仿真實驗環(huán)境45-47
• 4.2 實驗結果分析47-52
• 4.3 集群能耗分析52-54
• 4.4 本章小結54-55
• 5 全文總結與展望55-57
• 5.1 全文總結55-56
• 5.2 研究展望56-57
• 致謝57-58
• 參考文獻58-62

您可以在本站搜索以下學術論文文獻來了解更多相關內容

基于在線負載預測的動態(tài)集群節(jié)能配置策略    劉斌;楊堅;趙宇;

服務器與集群系統(tǒng)節(jié)能技術研究    王軍;馮鈴;薛文偉;

我國數據中心能耗及能效水平研究    谷立靜;周伏秋;孟輝;

面向云數據中心的能耗管理    柳運昌;楊二瑞;許建霞;

綠色數據中心能源效率評價研究    倪靜;王振全;易久;蘇艷;

基于統(tǒng)一資源管理的超級計算機系統(tǒng)節(jié)能方案    田寶華;蔣句平;李寶峰;張曉明;屈婉霞;

模塊化冷池在數據中心的研究與運用    王穎;

基于MCC的自適應混沌序列預測算法仿真    馬文濤;張蒙;趙芳玲;

計費系統(tǒng)負載模型的研究與應用    徐健;

一種基于排隊模型和差分進化算法的Web集群節(jié)能部署方案    熊智;劉衛(wèi)軍;崔張偉;

云計算環(huán)境下軟硬件節(jié)能和負載均衡策略    錢育蓉;于炯;王衛(wèi)源;孫華;廖彬;楊興耀;

虛擬化數據中心全局能耗優(yōu)化調度方法    阮順領;盧才武;

能耗感知的綠色數據庫研究綜述    金培權;邢寶平;金勇;岳麗華;

WMSNs在云計算中心節(jié)能減排中的關鍵技術研究    劉航

云計算系統(tǒng)中索引與查詢處理技術研究    王金寶

基于移動P2P的分布式存儲和傳輸機制研究    姜春茂

非對稱多核處理器的若干調度問題研究    陳銳忠

面向網絡服務器集群的節(jié)能機制研究    劉斌

面向云計算中心效能優(yōu)化的負載平衡方法    易星宇

云計算下基于虛擬機遷移、負載均衡的能耗優(yōu)化算法研究    馮文芳

熱管復合空調機組用模式轉換裝置研發(fā)    周德海

云計算虛擬資源優(yōu)化分配的研究    曾智斌

刀片服務器監(jiān)控管理系統(tǒng)設計與實現    喬英良

云環(huán)境中虛擬機遷移策略的研究    歐陽晟

多租戶SaaS應用快速構建與部署方法    潘穎

云數據中心基于超圖的存儲優(yōu)化節(jié)能算法研究    謝其揚

面向能耗優(yōu)化的數據中心資源動態(tài)調度模型與方法    齊文艷

數字可視電話系統(tǒng)中的G.168回聲消除技術    王心一;沈庭芝;王曉華;

變步長NLMS自適應濾波算法研究    倪錦根;李鋒;

基于LMS的網絡流量預測    高文宇;李紹華;

尋求網中最優(yōu)點算法    王培泉

遺傳模擬退火算法在沖裁件優(yōu)化排樣中的應用    雷賀功,孫厚芳,劉漢雄

基于聚類算法的零售業(yè)CRM數據挖掘的應用    張秋霞

八點算法的降維EVD技術    楊忠根,姜桂祥,任磊

一種嶄新的維特比譯碼器找點算法的VHDL實現    陳堅,汪東旭

DDBMS的并發(fā)控制技術——主路點算法及其分析    李群;吳忠明;張傳順;

局部空間離群點算法的改進及其實現    胡彩平;秦小麟;任韌;

高精度的圓數字微分分析器    洪濤;

一個基于AOP的Bean鎖算法    黃強;李敏;樓新遠;

數據挖掘中GridLOF算法的研究與改進    王新旭;黃立文;

關于無網格方法中撒點算法    王瑞利;倪國喜;林忠;

凸二次規(guī)劃問題的一種內點算法    盛玉紅;熱西達;

面向大規(guī)模科學計算的三維Delaunay快速插點算法    劉巖;關振群;張洪武;張占群;

一類DC規(guī)劃的全局收斂性算法研究    高雷阜;劉旭旺;

爆炸力學數值模擬中有限元模型討論    陳敏;隋允康;陽志光;

灰度/深度圖象序列的三維空間內插——一種新的計算機圖象生成技術    王新成;朱維樂;朱曉昆;顧德仁;

基于k中心點的迭代局部搜索聚類算法    吳景嵐;朱文興;

一種利用邊界測量估計網絡內部鏈路流量的模型    谷上宇;趙國鋒;唐紅;

網絡中的節(jié)點權重及其物理意義    吳亮;朱士群;

一種基于改進K-Medoids算法的網絡攻擊檢測技術    田小麗;鄭康鋒;鈕心忻;

節(jié)點,“網聚能力”的基石    北京軍區(qū)某集團軍 許林平

系統(tǒng)對抗與節(jié)點對決    章慶 中國人民解放軍南京軍區(qū)裝備部

節(jié)能優(yōu)化技術    虞萬榮 徐為

從體系破擊節(jié)點的選擇說開去    蔡?。犜S海 尹峰松

推進“一號工程”貫通“三大節(jié)點”    本報記者 林琳郭秀玉

川化股份啟動合成氨優(yōu)化技改項目    特約記者 張星芒

九江石化 節(jié)能從細節(jié)做起    特約記者 袁新文記者 江慧

九江石化努力探索精細節(jié)能    袁新文

TD手機開始大規(guī)模加載3G業(yè)務    孫琎

借名承攬生糾紛 苦果難咽咎自取    章麗麗

利用徑向基函數進行微分方程數值解的動點算法研究與應用    高欽姣

金屬及巖土沖擊動力學問題的物質點法研究    黃鵬

凸優(yōu)化和單調變分不等式的一些分裂算法及其計算復雜性研究    蔡邢菊

增廣拉格朗日型算法及其在圖像處理中的應用    張文星

移動無線傳感器網絡復制節(jié)點攻擊檢測協(xié)議的研究    鄧曉明

Hilbert空間非線性優(yōu)化問題之迭代方法    王豐輝

Banach空間中廣義方程的迭代解法    Mohammed Harunor Rashid

無線網絡中保證覆蓋連通的節(jié)點部署問題研究    廖卓凡

流體力學方程與擴散方程有限點方法的若干研究    孫順凱

無線傳感器網絡環(huán)境中節(jié)點布置問題研究    車楠

基于Hadoop集群的節(jié)能優(yōu)化技術研究    王哲

聚類分析中K-均值與K-中心點算法的研究    吳文亮

基于等勢點算法的M-J分形集的研究    趙旭東

電力系統(tǒng)動態(tài)安全域邊界性質的研究    閔亮

面向SNS的社會網絡數據抓取與經驗性分析    陳宗利

有源RFID以及定位系統(tǒng)的研究和實現    趙斌

基于WSN的海洋環(huán)境監(jiān)測系統(tǒng)中的數據采集子系統(tǒng)    郭雨

ISP輔助的P2P資源管理問題的研究    孫建

基于節(jié)點交互的狙擊手定位算法研究與交互接口設計    傅中華

具有自免疫功能的P2P節(jié)點及其仿真實現    岳曉雯