需要金幣： 2000 個(gè)金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字?jǐn)?shù)：12822 |  | |
| 折扣與優(yōu)惠：團(tuán)購最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要:隨著云計(jì)算的大力發(fā)展與廣泛的應(yīng)用，大數(shù)據(jù)這個(gè)詞匯在生活、工作中的出現(xiàn)也越來越頻繁，如何利用好大數(shù)據(jù)平臺(tái)也逐漸成為很多公司的工作重點(diǎn)之一。 眾多大型公司以Hadoop生態(tài)圈為核心的大數(shù)據(jù)分析技術(shù)不斷完善，這為公司繁多的大數(shù)據(jù)處理需求提供了很大的幫助。 本文是在Hadoop的集群介紹基礎(chǔ)上，對(duì)數(shù)據(jù)收集、分析以及展示模塊分別進(jìn)行需求的分析，并進(jìn)行文件的配置和代碼得實(shí)現(xiàn)。根據(jù)對(duì)數(shù)據(jù)的收集分析，完成整個(gè)離線電商分析平臺(tái)的設(shè)計(jì)工作。 在設(shè)計(jì)實(shí)現(xiàn)過程當(dāng)中，主要是將用戶日志數(shù)據(jù)存儲(chǔ)在Hadoop的HDFS存儲(chǔ)系統(tǒng)當(dāng)中，并利用MapReduce系統(tǒng)框架對(duì)用戶數(shù)據(jù)進(jìn)行計(jì)算。在對(duì)系統(tǒng)設(shè)計(jì)進(jìn)行需求分析之后，研究整個(gè)平臺(tái)設(shè)計(jì)的具體實(shí)現(xiàn)方法，主要包括三大模塊系統(tǒng)的代碼實(shí)現(xiàn)：用戶數(shù)據(jù)收集、用戶信息數(shù)據(jù)的分析以及數(shù)據(jù)分析結(jié)果展示。當(dāng)中又將對(duì)七個(gè)小模塊的數(shù)據(jù)進(jìn)行具體分析，分別為：用戶基本信息分析模塊、操作系統(tǒng)分析模塊、地域信息分析模塊、用戶瀏覽深度分析模塊、外鏈數(shù)據(jù)分析模塊、訂單分析模塊和事件分析模塊。最后提供API對(duì)數(shù)據(jù)結(jié)果進(jìn)行展示，并且將整個(gè)設(shè)計(jì)進(jìn)行整合，完成整個(gè)平臺(tái)的實(shí)現(xiàn)。
關(guān)鍵詞 Hadoop；大數(shù)據(jù)；離線電商數(shù)據(jù)；數(shù)據(jù)挖掘分析；HDFS
目錄 摘要 Abstract 1 緒論-1 1.1 研究背景及意義-1 1.2 國內(nèi)外研究現(xiàn)狀-1 1.3 主要研究內(nèi)容-2 1.4 論文組織結(jié)構(gòu)-2 2 相關(guān)技術(shù)分析-3 2.1 Hadoop-3 2.1.1 HDFS分布式文件系統(tǒng)-3 2.1.2 MapReduce-5 2.2 HBase技術(shù)介紹-7 2.3 Hive技術(shù)介紹-8 2.4 Sqoop技術(shù)介紹-8 2.5 本章小結(jié)-9 3 離線電商分析平臺(tái)的需求與設(shè)計(jì)-10 3.1 日志收集系統(tǒng)-10 3.1.1 JavaSDK需求分析-10 3.1.2 JsSDK需求分析-10 3.2 數(shù)據(jù)分析系統(tǒng)-11 3.3 數(shù)據(jù)展示系統(tǒng)-11 3.4 本章小結(jié)-11 4 離線電商分析平臺(tái)的搭建與實(shí)現(xiàn)-12 4.1 系統(tǒng)開發(fā)環(huán)境及運(yùn)行環(huán)境-12 4.1.1 創(chuàng)建用戶-12 4.1.2 修改主機(jī)名及SSH免密碼登錄-12 4.1.3 JDK安裝-13 4.1.3 Hadoop安裝-13 4.2 離線電商的分析平臺(tái)的功能模塊的實(shí)現(xiàn)-14 4.2.1 日志收集系統(tǒng)模塊-14 4.2.2 數(shù)據(jù)分析系統(tǒng)模塊-16 4.2.3 數(shù)據(jù)展示系統(tǒng)模塊-17 結(jié)論-19 致謝-20 參考文獻(xiàn)-21 附錄-22 |
