網(wǎng)站抓取，是一個(gè)用Python編寫(xiě)的Web爬蟲(chóng)和Web抓取框架。網(wǎng)站抓取是一個(gè)完整的框架，因此，它包含了Web抓取所需的一切，包括一個(gè)用于發(fā)送HTTP請(qǐng)求和從下載的HTML頁(yè)面中解析出數(shù)據(jù)的模塊。它可以呈現(xiàn)JavaScript，網(wǎng)站抓取從網(wǎng)頁(yè)解析數(shù)據(jù)的過(guò)程變得容易。它位于HTML或XML解析器的頂部，并為站長(zhǎng)提供了訪問(wèn)數(shù)據(jù)的Python方法。所以網(wǎng)站抓取是站長(zhǎng)采集文章填充網(wǎng)站內(nèi)容需要了解的一個(gè)工具。

網(wǎng)頁(yè)抓取是一種從網(wǎng)頁(yè)上獲取頁(yè)面內(nèi)容的技術(shù)。通常透過(guò)網(wǎng)站抓取使用低級(jí)別的超文本傳輸協(xié)議模仿人類的正常訪問(wèn)。網(wǎng)頁(yè)抓取和網(wǎng)頁(yè)索引極其相似，其中網(wǎng)頁(yè)索引指的是大多數(shù)搜索引擎采用使用的機(jī)器人或網(wǎng)絡(luò)爬蟲(chóng)等技術(shù)。與此相反，網(wǎng)頁(yè)抓取更側(cè)重于轉(zhuǎn)換網(wǎng)絡(luò)上非結(jié)構(gòu)化數(shù)據(jù)（常見(jiàn)的是HTML格式）成為能在一個(gè)中央數(shù)據(jù)庫(kù)和電子表格中儲(chǔ)存和分析的結(jié)構(gòu)化數(shù)據(jù)。網(wǎng)頁(yè)抓取也涉及到網(wǎng)絡(luò)自動(dòng)化，它利用計(jì)算機(jī)軟件模擬了人的瀏覽。

網(wǎng)頁(yè)抓取的文本搜索與正則表達(dá)式：文本搜索并且配合正則表達(dá)式可以有效地從頁(yè)面上提取需要的內(nèi)容。網(wǎng)頁(yè)抓取在基于UNIX的系統(tǒng)上可以使用grep，在其他平臺(tái)或其他編程語(yǔ)言（例如Perl，Python）中也有相應(yīng)的命令或語(yǔ)法。網(wǎng)頁(yè)抓取基于HTTP編程：無(wú)論是靜態(tài)網(wǎng)頁(yè)還是動(dòng)態(tài)網(wǎng)頁(yè)均可以通過(guò)發(fā)送HTTP請(qǐng)求給服務(wù)器來(lái)獲得，所以可以通過(guò)直接進(jìn)行socket編程來(lái)實(shí)現(xiàn)。

網(wǎng)站抓取的HTML語(yǔ)法分析器：很多網(wǎng)站都是使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)他們的數(shù)據(jù)，用戶訪問(wèn)的時(shí)候再通過(guò)程序自動(dòng)按照指定的格式生成，由于生成的這些網(wǎng)頁(yè)都采用了相同的的格式或者模板等，所以可以通過(guò)網(wǎng)站抓取對(duì)獲取到的HTML頁(yè)面使用語(yǔ)法分析器進(jìn)行語(yǔ)法分析，然后就可以使用HTML標(biāo)簽來(lái)提取需要的內(nèi)容。使用HTML語(yǔ)法分析器同文本搜索與正則表達(dá)式相比較程序更加的健壯,也免于構(gòu)造復(fù)雜的正則表達(dá)式。

網(wǎng)站抓取的應(yīng)用，從搜索引擎優(yōu)化(SEO)分析到搜索引擎索引、一般性能監(jiān)控等等，它的部分應(yīng)用程序還可能包括抓取網(wǎng)頁(yè)。網(wǎng)站抓取只需提交網(wǎng)站首頁(yè)網(wǎng)址，會(huì)自動(dòng)對(duì)其他頁(yè)面（如列表頁(yè)、內(nèi)容頁(yè)）進(jìn)行抓取。網(wǎng)站抓取的模板包含HTML、CSS、圖片、JS、Flash等目錄以原站結(jié)構(gòu)保存，僅需替換對(duì)應(yīng)CMS標(biāo)簽即可使用。

網(wǎng)站抓取最新的海量網(wǎng)絡(luò)信息搜集、處理、存貯、全文檢索、中文處理和文本挖掘技術(shù)，可以掛機(jī)實(shí)時(shí)監(jiān)控成千上萬(wàn)的新聞、論壇、博客、微博、視頻的最新輿情信息，幫助站長(zhǎng)及時(shí)、全面、準(zhǔn)確地掌握網(wǎng)絡(luò)動(dòng)態(tài)，自動(dòng)采集到自己網(wǎng)站，用戶填充網(wǎng)站內(nèi)容。

網(wǎng)站抓取通過(guò)自然語(yǔ)言處理技術(shù)，確保了抓取信息的準(zhǔn)確性、分類的準(zhǔn)確性和負(fù)面判斷的準(zhǔn)確度。網(wǎng)站抓取相似文章識(shí)別，準(zhǔn)確識(shí)別內(nèi)容相似的文章，可用于文章的去重和辨別。網(wǎng)站抓取無(wú)需模版，便于隨時(shí)增添采集源，不受網(wǎng)頁(yè)改版影響。網(wǎng)站抓取全方位的數(shù)據(jù)分析展示功能，多角度、多層次展示內(nèi)容特點(diǎn)，揭示數(shù)據(jù)規(guī)律，幫助站長(zhǎng)更好地管理和維護(hù)網(wǎng)站。