需要金幣： 1000 個金幣 |
資料包括：完整論文 |  |
 |
| 轉(zhuǎn)換比率：金額 X 10=金幣數(shù)量， 例100元=1000金幣 | 論文字數(shù)：9935 |  | |
| 折扣與優(yōu)惠：團購最低可5折優(yōu)惠 - 了解詳情 | 論文格式：Word格式(*.doc) |  |
摘要：隨著網(wǎng)絡(luò)社區(qū)的快速發(fā)展，特別是Web2.0技術(shù)的興起和在線社交服務(wù)的迅速普及，網(wǎng)絡(luò)問答社區(qū)以"提問-回答"為主要內(nèi)容已經(jīng)浮出了水面?；卮饍?nèi)容專業(yè)、平民用戶越來越多、結(jié)果通常相對理想、運作方式社交化的特點使得了特別多的青年、中年人爭相加入。在越來越多的問答平臺中,大多數(shù)青年人的言論呈現(xiàn)出自由、多樣化、熱點事件反應(yīng)迅速，但易跟風(fēng)、盲從的特點。 網(wǎng)絡(luò)問答社區(qū)的蓬勃發(fā)展,為網(wǎng)絡(luò)用戶獲得所需要的信息提供了一個新的方式。創(chuàng)作者將自己的知識儲備通過網(wǎng)絡(luò)進行分享,提問者通過網(wǎng)絡(luò)獲取答案。在這整個過程中,一些具有價值的回答通過雙方的問答獲得了其了現(xiàn)實價值。但在這種新形勢下，快速尋找問題的可靠答案有時候卻成了難題，答案質(zhì)量參差不齊，內(nèi)容雜亂無章，很多時候用戶根本無法在短時間內(nèi)進行篩選。為了解決這一問題，實現(xiàn)初步的回答篩選和引導(dǎo)功能是十分有必要的。 該平臺是基于Python的分布式爬蟲，主要內(nèi)容來源地為悟空問答，首先采用基于Ruby語言開發(fā)的Ruby庫——WebDriver獲取動態(tài)的HTML源代碼，再使用bs4庫下的BeautifalSoup進行解析，得到編譯方式為utf—8的源碼文本。得到文本后，使用正則表達式分離提取出有效信息，并規(guī)范其格式和進行初步篩選，最終達到一個問題選出一個最佳答案的結(jié)果。隨后調(diào)用Python的pymysql模塊，將獲取的數(shù)據(jù)存入mysql數(shù)據(jù)庫中，同時，使用TK接口Tkinter，形成交互式的前端界面。 借助此平臺，可以解決現(xiàn)有問答平臺個人無法在雜亂的信息中摘取有用的回答，或者缺少時間去篩選數(shù)量眾多的答案的問題，可以迅速且相對準確的找到匹配關(guān)鍵字的相關(guān)答案，從中推出最優(yōu)（甚至次優(yōu)）回答。亦或者用于想快速了解一個沒接觸過的事物時，可以較為全面、多角度的綜合了解。
關(guān)鍵詞：分布式爬蟲，問答社區(qū)，問答篩選，python
目錄 摘要 ABSTRACT 第1章 前言-1 1.1課題研究背景-1 1.2國內(nèi)外研究現(xiàn)狀-1 1.3開發(fā)與運行環(huán)境-2 1.4課題研究內(nèi)容-3 1.5課題研究目的與意義-3 1.5.1 研究目的-3 1.5.2 研究意義-3 1.6全文組織結(jié)構(gòu)-4 第2章 問答數(shù)據(jù)搜索平臺的系統(tǒng)分析與相關(guān)技術(shù)介紹-5 2.1可行性分析-5 1.經(jīng)濟可行性-5 2.技術(shù)可行性-5 3.操作可行性-5 2.2 需求分析-5 2.2.1 系統(tǒng)功能需求-5 2.2.2 對抓取HTML頁面源碼方式的分析-6 2.2.3 對HTML層級關(guān)系的分析-6 2.3 WebDriver-7 2.4正則表達式-8 2.5 兩個模塊：Pymysql與Tkinter-8 第3章 問答數(shù)據(jù)搜索平臺架構(gòu)的設(shè)計-8 3.1問答數(shù)據(jù)搜索平臺架構(gòu)-8 3.2調(diào)度器的設(shè)計-10 3.3 URL管理器與網(wǎng)頁下載器的設(shè)計-10 3.3.1 URL管理器-11 3.3.2網(wǎng)頁下載器-11 第4章 問答數(shù)據(jù)搜索平臺架構(gòu)的實現(xiàn)-11 4.1調(diào)度器的實現(xiàn)-11 4.2 URL管理器與網(wǎng)頁下載器的實現(xiàn)-13 4.2.1 URL管理器-13 4.2.2網(wǎng)頁下載器-13 4.4 網(wǎng)頁解析器的設(shè)計-13 第5章 爬蟲測試-14 5.1爬取測試-15 5.2 數(shù)據(jù)庫測試-15 5.3 網(wǎng)絡(luò)連接測試-16 第6章 總結(jié)與展望-17 6.1 總結(jié)-17 6.2 展望-17 附錄-19 附上部分代碼：-19 參考文獻-19 |
