需要金幣： 1000 個(gè)金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字?jǐn)?shù)：6993 |  | |
| 折扣與優(yōu)惠：團(tuán)購最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要:互聯(lián)網(wǎng)的迅猛發(fā)展以及大數(shù)據(jù)相關(guān)技術(shù)的興起，使得日志數(shù)據(jù)的規(guī)模呈爆炸式增長，給已有的日志采集及分析系統(tǒng)帶來了挑戰(zhàn)。如何有效地收集并分析這些日志已經(jīng)成為了這一領(lǐng)域的熱點(diǎn)，所以設(shè)計(jì)一款可擴(kuò)展、高容錯(cuò)的分布式日志收集系統(tǒng)是時(shí)下一個(gè)非常重要的研究課題。 本文基于開源的分布式日志Apache Flume，主要介紹了日志收集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過程。此系統(tǒng)主要包括了服務(wù)器上的日志生成、使用Flume進(jìn)行日志收集、將日志數(shù)據(jù)存儲至數(shù)據(jù)庫中。首先，本文介紹了此系統(tǒng)主要的基本理論基礎(chǔ)以及運(yùn)行此系統(tǒng)所需要的環(huán)境配置。然后，文章分析了設(shè)計(jì)這一系統(tǒng)的需求和流程定義，并設(shè)計(jì)和分析主要的Flume配置。最后，本文介紹了系統(tǒng)的主要實(shí)現(xiàn)過程，并設(shè)計(jì)出一個(gè)生成日志數(shù)據(jù)的小程序?qū)ο到y(tǒng)進(jìn)行了測試與調(diào)試，提出改進(jìn)方向。
關(guān)鍵詞 apache flume；日志收集；分布式；java
目錄 摘要 Abstract 1 緒論-1 1.1 課題的研究背景及意義-1 1.2 國內(nèi)外的研究現(xiàn)狀-1 1.3 文章主要的設(shè)計(jì)內(nèi)容及思路-1 1.4 論文的主要結(jié)構(gòu)安排-2 2 相關(guān)的理論及主要技術(shù)-3 2.1 Flume-3 2.2 虛擬機(jī)VMware Workstation 12 Pro-4 2.3 Linux-5 3 系統(tǒng)的需求分析及系統(tǒng)設(shè)計(jì)-7 3.1 需求分析-7 3.2 可行性分析-7 3.3 Java環(huán)境設(shè)置-7 3.4 系統(tǒng)設(shè)計(jì)-8 3.4.1 日志收集數(shù)據(jù)流程定義-8 3.4.2 服務(wù)器中Flume的配置-9 4 系統(tǒng)實(shí)現(xiàn)-10 4.1日志收集系統(tǒng)flume的實(shí)現(xiàn)-11 4.2 系統(tǒng)實(shí)現(xiàn)流程-12 5 系統(tǒng)的調(diào)試與測試-12 5.1 測試方案-13 5.2 系統(tǒng)結(jié)果測試-14 5.3 問題與改進(jìn)-15 結(jié)論-15 致謝-16 參考文獻(xiàn)-17 附錄-18 附錄1 flume的配置-19 附錄2 測試數(shù)據(jù)生成程序-20 附錄3 配置程序-21 |
