需要金幣： 1000 個金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字數(shù)：16156 |  | |
| 折扣與優(yōu)惠：團購最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要：在這個數(shù)據(jù)龐大的時代，數(shù)據(jù)已經(jīng)滲透到各個領域，成為了不可缺少的一部分。大數(shù)據(jù)中蘊含了寶貴的價值，為了高效的利用這些價值，需要挖掘出數(shù)據(jù)潛在的價值?，F(xiàn)如今，大數(shù)據(jù)的研究已經(jīng)掀起了一股浪潮，批量大數(shù)據(jù)已經(jīng)廣泛應用于現(xiàn)實生活中，但是由于批量大數(shù)據(jù)系統(tǒng)適用于先存儲后計算，對實時性不高，而目前人們對實時處理的要求越來越高，所以流式大數(shù)據(jù)處理出現(xiàn)了。 論文首先介紹了大數(shù)據(jù)的基本概念、特征。其次是根據(jù)大數(shù)據(jù)的計算形態(tài)，介紹了批量計算和流式計算的概念以及異同點。然后對流式大數(shù)據(jù)進行了詳細的介紹，從而引出了流式大數(shù)據(jù)處理系統(tǒng)，總結了流式大數(shù)據(jù)系統(tǒng)的典型應用以及對典型應用領域中所呈現(xiàn)出來的實時性、易失性、突發(fā)性、無序性、無限性等特征進行了描述。論述和對比了五款大數(shù)據(jù)流式計算系統(tǒng)，并詳細介紹了其中一款開源的流式大數(shù)據(jù)處理系統(tǒng)storm，以及這個系統(tǒng)的配置過程和演示過程，并對演示的storm例子進行詳細的介紹。最后梳理了整個系統(tǒng)，并提出了可能的應對之策。 關鍵詞： 大數(shù)據(jù) 流式大數(shù)據(jù) storm
目錄 摘要 Abstract 1.緒論-1 1.1研究背景-1 1.2 研究思路以及方法-1 1.2.1 研究思路-1 1.2.2 研究方法-2 2.預備知識-2 2.1 大數(shù)據(jù)概述-2 2.2 大數(shù)據(jù)處理的流程-2 2.3 大數(shù)據(jù)的計算方式以及異同點-3 2.3.1批量計算-3 2.3.2流式計算-3 2.3.3總結-3 3.流式大數(shù)據(jù)處理系統(tǒng)以及核心技術-5 3.1 流式大數(shù)據(jù)的基本原理以及技術架構-5 3.1.1 對稱式架構-5 3.1.2 主從式系統(tǒng)架構-5 3.2 流式大數(shù)據(jù)的特點-6 3.2.1實時性-6 3.2.2易失性-6 3.2.3突發(fā)性-6 3.2.4無序性-7 3.2.5無限性-7 3.3． 流式大數(shù)據(jù)相關典型應用分析-7 3.3.1日志采集系統(tǒng)-7 3.3.2傳感器采集系統(tǒng)-7 3.3.3 Web數(shù)據(jù)采集系統(tǒng)-8 3.3.4金融銀行業(yè)的應用-8 3.4. 分析并且比較幾種典型的流式大數(shù)據(jù)處理系統(tǒng)-8 3.4.1 Twitter的Storm-8 3.4.2 Yahoo的S4系統(tǒng)-9 3.4.3 Facebook的Data Freeway and Puma系統(tǒng)-9 3.4.4 Linkedin的Kafka系統(tǒng)-9 3.4.5 Microsoft的TimeStream系統(tǒng)-10 3.4.6 對比這五種流式大數(shù)據(jù)-10 4.storm的介紹和分析-10 4.1 storm整體架構-11 4.1.1 storm集群架構-11 4.1.2 storm的運算架構-12 4.2 storm流分組-13 4.3 storm的容錯機制-15 4.3.1 worker進程死亡-15 4.3.2 節(jié)點死亡-15 4.3.3 nimbus或者supervisor守護進程死亡-15 5. 實驗環(huán)境搭建-15 5.1. 硬件環(huán)境-15 5.2 軟件環(huán)境-15 5.3. 部署storm單機集群步驟-16 5.3.1 搭建zookeeper集群-16 5.3.2安裝JDK6-17 5.3.3安裝Python-18 5.3.4安裝storm-19 5.3.5 在ubuntu下安裝eclipse-22 5.3.6 在ubuntu下安裝maven-22 5.4 在windows下進行開發(fā)的環(huán)境搭建-23 5.4.1 在windows下安裝jdk-23 5.4.2 在windows下安裝eclipse-23 5.4.3 在windows下安裝maven-23 6.storm流式大數(shù)據(jù)處理系統(tǒng)的開發(fā)與設計-23 6.1 設計背景-23 6.2 設計思路-24 6.3 第一個實例-24 6.3.1 開發(fā)準備-24 6.3.2 功能以及流程介紹-26 6.3.3 項目解析-26 6.3.4 代碼解析-26 6.3.5 結果展示-29 6.3.6 總結-31 6.4 第二個實例-31 6.4.1 研究思想-31 6.4.2 研究流程-31 6.4.3 模塊分析-32 6.4.4 實驗結果-33 6.4.5 總結-34 7. 可靠性機制分析以及并行度分析-34 7.1可靠性機制分析-34 7.1.1可靠性介紹-34 7.1.2 acker原理分析-35 7.1.3 spout和bolt的可靠性-35 7.1.4 實驗分析可靠性-36 7.1.5總結-37 7.2并行度分析-37 7.2.1并行度的相關介紹-37 7.2.2并行度性能分析-38 8．在開發(fā)過程中所遇到的問題-40 9. 本設計還存在的問題以及改進-41 9.1 問題-41 9.2 改進-41 10. 結束語-41 致謝-42 參考文獻-43 |
