基于分布式文件系統(tǒng)HDFS的節(jié)能算法

【摘要】：與傳統(tǒng)數(shù)據(jù)中心節(jié)能算法不同,MapReduce計算任務(wù)的數(shù)據(jù)依賴性使得設(shè)計HDFS(Hadoop Distributed File System)節(jié)能算法時必須保證集群中所有數(shù)據(jù)塊的可用性,即任意數(shù)據(jù)塊或其副本中的至少一塊處于活動狀態(tài).根據(jù)HDFS集群結(jié)構(gòu)與數(shù)據(jù)塊存儲等特點建立了DataNode節(jié)點矩陣、節(jié)點狀態(tài)矩陣、文件分塊矩陣、數(shù)據(jù)塊存儲矩陣與數(shù)據(jù)塊狀態(tài)矩陣,為后續(xù)研究建立了基礎(chǔ)模型.結(jié)合數(shù)據(jù)塊狀態(tài)矩陣與數(shù)據(jù)塊可用性之間的關(guān)系設(shè)計了DataNode節(jié)點休眠驗證算法.概率分析了由于機架感知的存儲策略帶來數(shù)據(jù)塊分布的隨機性,使得在不改變數(shù)據(jù)塊存儲結(jié)構(gòu)與存儲策略的情況下并不能通過休眠DataNode節(jié)點達到節(jié)能的目的.進而設(shè)計了數(shù)據(jù)塊存儲結(jié)構(gòu)配置節(jié)能算法與基于對稱數(shù)據(jù)塊存儲策略下的節(jié)能算法,分別從改變數(shù)據(jù)塊的存儲結(jié)構(gòu)與存儲策略兩方面對HDFS進行節(jié)能改進.實驗結(jié)果表明:兩種節(jié)能算法都能解決HDFS集群的能耗低利用率問題,并且集群負載越低節(jié)能效率越高. 【作者單位】： 新疆大學(xué)軟件學(xué)院;新疆大學(xué)信息科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： 云計算 分布式文件系統(tǒng) 節(jié)能計算 副本策略 綠色計算
【基金】：國家自然科學(xué)基金(60863003,61063042) 新疆維吾爾族自治區(qū)自然科學(xué)基金(2011211A011)資助~~
【分類號】：TP311.13
【正文快照】： 1引言低碳節(jié)能已經(jīng)成為全球熱點問題之一,而信息與通信技術(shù)行業(yè)的高速發(fā)展也帶來了高能耗、高二氧化碳排放量的問題.據(jù)統(tǒng)計①,目前IT領(lǐng)域的二氧化碳排放量占全球的2%,而到2020年這一比例將翻番.2008年路由器、交換機、服務(wù)器、冷卻設(shè)備、數(shù)據(jù)中心等互聯(lián)網(wǎng)設(shè)備總共消耗8680億

您可以在本站搜索以下學(xué)術(shù)論文文獻來了解更多相關(guān)內(nèi)容

綠色網(wǎng)絡(luò)和綠色評價:節(jié)能機制、模型和評價    林闖;田源;姚敏;

綠色網(wǎng)絡(luò)的實例——可重構(gòu)柔性網(wǎng)絡(luò)    袁博;汪斌強;張博;

IP over WDM網(wǎng)絡(luò)最小功耗模型和休眠機制研究    薛琳;郭愛煌;

基于可信云計算的偽隨機數(shù)生成    朱曉林;耿恒山;

基于跨層設(shè)計的無線傳感器網(wǎng)絡(luò)節(jié)能雙向梯度路由算法    任智;徐中浩;曹建玲;陳前斌;

WPAN Mesh網(wǎng)絡(luò)中基于服務(wù)器的高效路由算法    雷宏江;汪坤露;高潮;任智;

綠色IP over WDM網(wǎng)絡(luò)研究進展    郭愛煌;薛琳;

云計算中虛擬機放置的自適應(yīng)管理與多目標(biāo)優(yōu)化    李強;郝沁汾;肖利民;李舟軍;

基于線性回歸的無線傳感器網(wǎng)絡(luò)分布式數(shù)據(jù)采集優(yōu)化策略    宋欣;王翠榮;

一種面向同構(gòu)集群系統(tǒng)的并行任務(wù)節(jié)能調(diào)度優(yōu)化方法    李新;賈智平;鞠雷;趙衍恒;宗子良;

網(wǎng)絡(luò)能耗系統(tǒng)模型及能效算法    張法;Antonio Fernandez Anta;王林;侯晨穎;劉志勇;

綠色網(wǎng)絡(luò)的實例——可重構(gòu)柔性網(wǎng)絡(luò)    袁博;汪斌強;張博;

協(xié)作認知無線電網(wǎng)絡(luò)優(yōu)化模型與算法研究    楊威

源碼未知類軟件能耗評估技術(shù)研究    王艷

基于能耗和成本的資源管理與調(diào)度策略研究    馬艷

大規(guī)模網(wǎng)絡(luò)服務(wù)系統(tǒng)能耗控制與性能優(yōu)化    胡晗

操作系統(tǒng)可信證明體系結(jié)構(gòu)與模型研究    辛思遠

基于可重構(gòu)技術(shù)的網(wǎng)絡(luò)節(jié)點節(jié)能問題關(guān)鍵技術(shù)研究    袁博

面向任務(wù)調(diào)度的集群功耗管理    湯慧明

基于紅外圖像的服務(wù)器工況分類研究    許宏珂

云計算環(huán)境下虛擬機資源調(diào)度策略研究    劉永

云環(huán)境下基于內(nèi)存共享的服務(wù)器整合算法研究    陳靜怡

面向高校實驗室的虛擬化計算資源優(yōu)化模型研究    田高成

基于固定休眠周期的WiMAX 2休眠模式的性能研究    張曉斐

以太網(wǎng)節(jié)能策略的改進及性能優(yōu)化    范榮玉

基于Best Effort業(yè)務(wù)的IEEE802.16m休眠模式的性能評估與優(yōu)化    宋紅磊

云環(huán)境下基于多移動Agent的低能耗任務(wù)調(diào)度策略的研究    吳家興

云計算平臺中的能耗管理方法    潘鈺

計算機網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化方法研究綜述    林闖;李寅;萬劍雄;

高性能路由器節(jié)能技術(shù)研究    唐廣飛

基于云計算的分布式企業(yè)搜索引擎研究    林樂然;陳德龍;

Hadoop框架下的容災(zāi)系統(tǒng)研究    李呈棟;戴躍發(fā);王偉;吳波;

基于MPI的云計算模型    郭本俊;王鵬;陳高云;黃健;

基于云計算的電子商務(wù)推薦平臺的構(gòu)建分析    林立宇;陳云海;

基于云計算架構(gòu)的分布式數(shù)據(jù)挖掘研究    陳磊;王鵬;董靜宜;任超;

“云”下的數(shù)字圖書館資源存儲研究    劉文云;鮑凌云;

數(shù)字化城市物聯(lián)網(wǎng)信息平臺設(shè)計    孫茂源;于翔;魏以鵬;

云計算中的數(shù)據(jù)管理關(guān)鍵技術(shù)及其應(yīng)用    郗俊強;

基于云計算的農(nóng)村電子政務(wù)架構(gòu)研究    楊倩茹;黃夢醒;萬兵;

云存儲技術(shù)在數(shù)字圖書館建設(shè)中的應(yīng)用探討    吳國華;

HugeTable:一種面向電信行業(yè)的云數(shù)據(jù)倉庫    周大;錢嶺;郭磊濤;齊驥;

微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析    洪穗;

云計算環(huán)境下軟件工程模式初探    張勇;

云計算與計算機安全    梁宏;

云計算的棧模型研究    曾誠;李兵;何克清;

一種基于擴展MVVM模式的SaaS面向服務(wù)計算模型    陳明;李猛坤;張強;

基于云計算概念的企業(yè)信息化模式研究    石紅;

基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實現(xiàn)    華清;黃林鵬;

SAAS技術(shù)探討    高紀位;

IT運維安全管理系統(tǒng)的研究與設(shè)計    郝繼英;

Informatica：大數(shù)據(jù)帶來大機遇    本報記者 劉箐箐

MapReduce:亞馬遜云服務(wù)再添新援    劉琦

HadoopDB混合數(shù)據(jù)庫問世    于翔

Hadoop的中國前途    本報記者 劉洪宇

網(wǎng)“助”云計算    李延峰

文件虛擬化何去何從    編譯 張磊

云計算環(huán)境下動態(tài)資源管理關(guān)鍵技術(shù)研究    李冰

云計算系統(tǒng)中作業(yè)安全技術(shù)研究    葉建偉

云計算環(huán)境下動態(tài)流程優(yōu)化調(diào)度問題研究    楊成偉

發(fā)展中國家的電子政務(wù)挑戰(zhàn)：基于云計算的電子公私合作模式研究    Faizulah Khan

智慧城市信息系統(tǒng)關(guān)鍵技術(shù)研究    袁遠明

藍鯨分布式文件系統(tǒng)的資源管理    黃華

公共云計算環(huán)境下用戶數(shù)據(jù)的隱私性與安全性保護    張逢喆

遠程數(shù)據(jù)完整性和認證技術(shù)研究    郝卓

超數(shù)據(jù)集成挖掘方法與技術(shù)研究    周春英

XML關(guān)鍵字過濾技術(shù)    張晨靜

云計算環(huán)境中分布式文件系統(tǒng)的負載均衡問題研究    谷方舟

云計算下關(guān)聯(lián)分類技術(shù)的研究與實現(xiàn)    楊永剛

Hadoop平臺下的關(guān)系數(shù)據(jù)庫查詢與實現(xiàn)    黃鐘元

Hadoop體系結(jié)構(gòu)研究及在醫(yī)療保險結(jié)算系統(tǒng)中的應(yīng)用    李茂鎮(zhèn)

云計算環(huán)境下關(guān)聯(lián)規(guī)則算法的研究    楊新月

北部灣海洋科學(xué)數(shù)據(jù)處理云平臺框架的研究與設(shè)計    崔杰

數(shù)字圖書館資源的云存儲模型研究    魏星德

海量歷史數(shù)據(jù)庫系統(tǒng)研究    王章

通用分布式文件系統(tǒng)的研究與改進    龔高晟

云計算下MapReduce編程模型可用性的研究與優(yōu)化    周一可