需要金幣:![]() ![]() |
資料包括:完整論文 | ![]() |
![]() |
轉(zhuǎn)換比率:金額 X 10=金幣數(shù)量, 例100元=1000金幣 | 論文字?jǐn)?shù):15949 | ![]() | |
折扣與優(yōu)惠:團(tuán)購(gòu)最低可5折優(yōu)惠 - 了解詳情 | 論文格式:Word格式(*.doc) | ![]() |
摘要:隨著互聯(lián)網(wǎng)的環(huán)境推動(dòng)和海量數(shù)據(jù)的增加,尤其當(dāng)公司做大到要上市的時(shí)候,會(huì)面臨一個(gè)很大的問(wèn)題:由于數(shù)據(jù)量的龐大,從開(kāi)始整理數(shù)據(jù),到做數(shù)據(jù)報(bào)表,往往會(huì)花費(fèi)大量的時(shí)間。慢慢的大數(shù)據(jù)概念進(jìn)入人們的視野中。隨著數(shù)據(jù)量的快速增加,公司需要根據(jù)自身的需求搭建合適的大數(shù)據(jù)平臺(tái)。 大數(shù)據(jù)平臺(tái)主要的功能就是對(duì)數(shù)據(jù)的處理和分析,是處理大數(shù)據(jù)的一種基礎(chǔ)設(shè)施?,F(xiàn)在全球都在發(fā)展和完善大數(shù)據(jù)平臺(tái)的功能。從目前的發(fā)展現(xiàn)狀來(lái)看,大數(shù)據(jù)平臺(tái)主要應(yīng)用于傳統(tǒng)信息技術(shù)企業(yè)、新興互聯(lián)網(wǎng)企業(yè)、高效研究院這三大陣營(yíng)。 本文利用Hadoop集群搭建了平臺(tái),介紹了搭建完成的大數(shù)據(jù)分析平臺(tái)各個(gè)模塊的功能?;ヂ?lián)網(wǎng)行業(yè)中常見(jiàn)的數(shù)據(jù)處理方式有數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析和數(shù)據(jù)預(yù)測(cè),選用了數(shù)據(jù)拼接、各省份訪問(wèn)次數(shù)統(tǒng)計(jì)和業(yè)績(jī)預(yù)測(cè)三個(gè)案例。經(jīng)過(guò)平臺(tái)的處理后,得到想要的結(jié)果,且都能實(shí)現(xiàn)平臺(tái)的各個(gè)方面功能。
關(guān)鍵詞 大數(shù)據(jù)平臺(tái);分布式;Hadoop;數(shù)據(jù)處理
目錄 摘要 Abstract 1 緒論-1 1.1 大數(shù)據(jù)的相關(guān)概念-1 1.2 國(guó)內(nèi)外發(fā)展?fàn)顩r-2 1.3 本文的研究?jī)?nèi)容-3 2 大數(shù)據(jù)平臺(tái)及其搭建-4 2.1 Hadoop簡(jiǎn)介-4 2.2 大數(shù)據(jù)平臺(tái)的搭建-4 2.2.1 Common-4 2.2.2 HDFS-9 2.2.3 MapReduce-12 2.2.4 YARN-13 3 大數(shù)據(jù)平臺(tái)對(duì)互聯(lián)網(wǎng)行業(yè)的影響-16 3.1 谷歌-16 3.2 FaceBook-16 3.3 百度、騰訊、阿里巴巴-17 4 大數(shù)據(jù)平臺(tái)在互聯(lián)網(wǎng)行業(yè)的實(shí)際應(yīng)用-18 4.1 數(shù)據(jù)的預(yù)處理-18 4.1.1 數(shù)據(jù)拼接-18 4.1.2 運(yùn)行結(jié)果-19 4.2 數(shù)據(jù)的分析-20 4.2.1 省份統(tǒng)計(jì)-20 4.2.2 運(yùn)行結(jié)果-21 4.3 預(yù)測(cè)未來(lái)業(yè)績(jī)-22 4.3.1 數(shù)據(jù)清洗與訪問(wèn)次數(shù)統(tǒng)計(jì)-22 4.3.2 最小二乘曲線(xiàn)擬合-23 4.3.3 求解過(guò)程及結(jié)果分析-25 結(jié)論-27 致謝-28 參考文獻(xiàn)-29 附錄-30 |