需要金幣： 2000 個(gè)金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字?jǐn)?shù)：16747 |  | |
| 折扣與優(yōu)惠：團(tuán)購(gòu)最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要:近年來(lái)，網(wǎng)絡(luò)信息發(fā)展進(jìn)入了一個(gè)全新的階段，云計(jì)算的快速發(fā)展，使人們?cè)谛畔⒎?wù)方面的獲得方式發(fā)生轉(zhuǎn)變，網(wǎng)絡(luò)上的數(shù)據(jù)也隨著呈現(xiàn)爆炸性的增長(zhǎng)。尤其在電子商務(wù)迅速發(fā)展的今天，電商網(wǎng)站每天都會(huì)產(chǎn)生大量的日志文件，這些日志文件對(duì)于企業(yè)來(lái)講，可以從中獲取很多有價(jià)值的信息用于后期的分析評(píng)估，有利于它們?cè)谏虡I(yè)競(jìng)爭(zhēng)中搶占先機(jī)。但是，如何高效地分析和處理這些海量的數(shù)據(jù)是一項(xiàng)艱巨的任務(wù)，傳統(tǒng)的數(shù)據(jù)挖掘算法已不能滿足現(xiàn)在的需求，新興的云計(jì)算技術(shù)的出現(xiàn)，很好地解決了這個(gè)問(wèn)題，尤其是Hadoop的出現(xiàn)起著重要性的作用。 本文首先介紹了研究背景和Hadoop的相關(guān)技術(shù)，然后詳細(xì)介紹了Hadoop的兩大核心技術(shù)：HDFS分布式文件系統(tǒng)和MapReduce分布式并行計(jì)算框架，對(duì)其運(yùn)行機(jī)制進(jìn)行了重點(diǎn)分析研究。接著使用Hadoop的數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)了對(duì)1號(hào)店網(wǎng)站日志的分析工作，使用Hive數(shù)據(jù)倉(cāng)庫(kù)框架對(duì)數(shù)據(jù)進(jìn)行處理，得到所需的重要指標(biāo)的統(tǒng)計(jì)結(jié)果，并將統(tǒng)計(jì)結(jié)果通過(guò)Sqoop導(dǎo)出到MySQL中進(jìn)行保存，對(duì)結(jié)果做一些進(jìn)一步的分析。最后，對(duì)本文進(jìn)行了一個(gè)簡(jiǎn)單的總結(jié)，指出文中出現(xiàn)的一些問(wèn)題和不足之處。
關(guān)鍵詞- 云計(jì)算；電商網(wǎng)站；Hadoop；HDFS；MapReduce；數(shù)據(jù)倉(cāng)庫(kù)
目錄 摘要 Abstract 1 緒論-1 1.1 研究背景及意義-1 1.2 國(guó)內(nèi)外研究現(xiàn)狀-1 1.2.1 國(guó)外研究現(xiàn)狀-1 1.2.2 國(guó)內(nèi)研究現(xiàn)狀-2 1.3 本文主要研究?jī)?nèi)容-2 2 Hadoop相關(guān)技術(shù)-4 2.1 Hadoop簡(jiǎn)介-4 2.2 Hadoop的核心設(shè)計(jì)-5 2.2.1 HDFS-5 2.2.2 MapReduce-5 2.3 Hadoop應(yīng)用-6 2.3.1 Hive-6 2.3.2 Sqoop-7 3 Hadoop核心技術(shù)深入分析-9 3.1 HDFS深入分析-9 3.1.1 Block-9 3.1.2 NameNode和DataNode-10 3.2 MapReduce深入分析-11 3.2.1 經(jīng)典的MapReduce作業(yè)運(yùn)行機(jī)制-12 3.2.2 YARN平臺(tái)上的MapReduce作業(yè)運(yùn)行-13 3.2.3 Shuffle過(guò)程-15 4 日志分析實(shí)例研究-17 4.1 數(shù)據(jù)采集-17 4.2 關(guān)鍵技術(shù)指標(biāo)-17 4.2.1 瀏覽量PV-17 4.2.2 訪客數(shù)UV-17 4.2.3 登錄人數(shù)和游客人數(shù)-17 4.2.4 IP數(shù)-18 4.2.5 平均訪問(wèn)時(shí)長(zhǎng)-18 4.2.6 二跳率-18 4.3 操作環(huán)境-18 4.4 日志文件處理步驟-19 4.4.1 上傳日志文件至HDFS-19 4.4.2 創(chuàng)建Hive表進(jìn)行統(tǒng)計(jì)-19 4.4.3 使用Sqoop導(dǎo)入到MySQL-23 4.5 結(jié)果分析-25 結(jié)論-26 致謝-27 參考文獻(xiàn)-28 附錄-29 |
