需要金幣： 1000 個(gè)金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字?jǐn)?shù)：11004 |  | |
| 折扣與優(yōu)惠：團(tuán)購(gòu)最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要：本系統(tǒng)搭建在Hadoop平臺(tái)上，通過Flume-Kafka技術(shù)實(shí)現(xiàn)對(duì)每日數(shù)百億的數(shù)據(jù)進(jìn)行清洗、分析、挖掘等，在完成數(shù)據(jù)消費(fèi)后，對(duì)分析后的數(shù)據(jù)進(jìn)行入庫(kù)操作，通過Webserver技術(shù)實(shí)現(xiàn)建立仿真的BI前端系統(tǒng)，按照手機(jī)號(hào)、時(shí)間、通話時(shí)長(zhǎng)等維度進(jìn)行數(shù)據(jù)展示。為電信運(yùn)營(yíng)商從多個(gè)角度定義用戶，形成用戶肖像，為決策系統(tǒng)的建立提供數(shù)據(jù)支持。本文首先對(duì)Hadoop技術(shù)進(jìn)行了簡(jiǎn)單介紹。然后對(duì)搭建在Hadoop平臺(tái)上的Flume-Kafka高可用離線數(shù)據(jù)采集方案進(jìn)行設(shè)計(jì)，重點(diǎn)介紹了本系統(tǒng)的關(guān)鍵算法“MapReduce“算法，他是本系統(tǒng)的核心。 系統(tǒng)使用MapReduce技術(shù)并行處理數(shù)據(jù)并通過Sqoop組件讀取HDFS中計(jì)算過的數(shù)據(jù)，并將其讀入MySQL數(shù)據(jù)庫(kù)中保存，最后使用Webserver技術(shù)實(shí)現(xiàn)數(shù)據(jù)可視化技術(shù)。經(jīng)測(cè)試，系統(tǒng)運(yùn)行正常有效，表明基于Hadoop的數(shù)據(jù)實(shí)時(shí)離線處理平臺(tái)能夠滿足電信運(yùn)營(yíng)商的要求，可以為企業(yè)獲取有價(jià)值的數(shù)據(jù)。
關(guān)鍵詞：大數(shù)據(jù)；Hadoop；HBase；MapReduce；Webserver
目錄 摘要 Abstract 1 緒論-1 1.1 課題的目的和意義-1 1.1.1 課題的目的-1 1.1.2 課題的意義-1 1.2 本領(lǐng)域存在的問題-1 1.2.1 行業(yè)發(fā)展良莠不齊-1 1.2.2 數(shù)據(jù)開放程度較低-1 1.2.3 安全風(fēng)險(xiǎn)日益突出-2 1.2.4 技術(shù)應(yīng)用創(chuàng)新滯后-2 1.3-本系統(tǒng)主要研究?jī)?nèi)容-2 2 開發(fā)環(huán)境-4 2.1 系統(tǒng)環(huán)境-4 2.1.1 系統(tǒng)環(huán)境-4 2.1.2 開發(fā)工具-4 2.1.3 集群環(huán)境-4 2.1.4 硬件環(huán)境-4 3 大數(shù)據(jù)技術(shù)分析-6 3.1 構(gòu)建了海量數(shù)據(jù)處理架構(gòu)-6 3.2 高度可靠的數(shù)據(jù)采集框架-6 3.3 云計(jì)算環(huán)境下的動(dòng)態(tài)存儲(chǔ)分配算法-6 3.4 Map Reduce算法-6 4 電信大數(shù)據(jù)分析平臺(tái)的實(shí)現(xiàn)-7 4.1 電信大數(shù)據(jù)分析平臺(tái)的架構(gòu)-7 4.2 數(shù)據(jù)采集層-8 4.2.1 數(shù)據(jù)生產(chǎn)-8 4.2.2 Flume數(shù)據(jù)收集模塊-9 4.2.3 Kafka緩存模塊-9 4.2.4 高可用數(shù)據(jù)采集方案的設(shè)計(jì)-10 4.3 數(shù)據(jù)存儲(chǔ)計(jì)算層-11 4.3.1 數(shù)據(jù)存儲(chǔ)-11 4.3.2 數(shù)據(jù)計(jì)算-12 4.3.3 運(yùn)行測(cè)試-16 4.4 數(shù)據(jù)分析展示層-16 4.5 定時(shí)任務(wù)-19 5 平臺(tái)測(cè)試與調(diào)優(yōu)-20 5.1 最終預(yù)覽-20 5.2 系統(tǒng)調(diào)優(yōu)-20 5.2.1-底層Linux 優(yōu)化-20 5.2.2 針對(duì)數(shù)據(jù)傾斜的優(yōu)化-21 結(jié) 論-22 致 謝-23 參考文獻(xiàn)-24 附 錄 |
