網(wǎng)頁采集器-147SEO

網(wǎng)頁采集器，讓站長可以簡單數(shù)據(jù)采集、網(wǎng)頁采集、網(wǎng)頁爬蟲插件。只需點擊3次即可輕松完成多頁自動采集爬取，內(nèi)置強大的多級網(wǎng)頁采集，無需任何編碼，不需要配置采集規(guī)則。網(wǎng)頁采集器可視化創(chuàng)建采集跨多頁信息的自動規(guī)則，讓網(wǎng)站所有數(shù)據(jù)安全地存儲在本地，具有雙重保護(hù)，網(wǎng)頁采集器自動運行計劃任務(wù)，定時增量進(jìn)行關(guān)鍵詞泛采集或者指定采集。

網(wǎng)頁采集器不同于傳統(tǒng)的爬蟲，網(wǎng)頁采集器是一個完全受站長控制的網(wǎng)頁爬蟲腳本。所有的執(zhí)行規(guī)則由站長來定義。只需打開一個頁面，讓網(wǎng)頁采集器自動識別表格數(shù)據(jù)或選擇要手動抓取的元素，然后告知網(wǎng)頁采集器如何在頁面之間（甚至站點之間）導(dǎo)航(它也會嘗試自動查找導(dǎo)航按鈕）。 網(wǎng)頁采集器可以智能地理解數(shù)據(jù)模式并通過自動導(dǎo)航頁面來提取所有數(shù)據(jù)。

網(wǎng)頁采集器的功能以及作用：自動表格數(shù)據(jù)識別；自動列表翻頁識別；多網(wǎng)頁數(shù)據(jù)采集或轉(zhuǎn)化；采集圖片到本地或者云端；超簡單登錄后內(nèi)容采集；網(wǎng)頁采集器的OCR方式識別加密字符或者圖片內(nèi)容；批量URL地址，批量關(guān)鍵詞查詢采集。網(wǎng)頁采集器的自動iFrame內(nèi)容采集支持，數(shù)據(jù)變化監(jiān)控和實時通知，動態(tài)內(nèi)容采集（JavaScript + AJAX），多種翻頁模式支持。

網(wǎng)頁采集器可以跨網(wǎng)站抓取或數(shù)據(jù)轉(zhuǎn)化，增量數(shù)據(jù)采集，加入了可視化編輯采集規(guī)則，無限數(shù)據(jù)導(dǎo)出到Excel或CSV文件。網(wǎng)頁采集器加入了100+語言轉(zhuǎn)換，通過webHook無縫銜接網(wǎng)站自己的系統(tǒng)，或者Zapier等平臺，站長無需學(xué)習(xí)python, PHP, JavaScript,xPath，Css，JSON，iframe等技術(shù)技能。

網(wǎng)頁采集器的擴展可幫助應(yīng)用實現(xiàn)文件輸入輸出、驗證碼識別、圖片上傳下載、數(shù)據(jù)列表處理、數(shù)學(xué)公式計算、API調(diào)用等功能。網(wǎng)頁采集器模擬網(wǎng)頁執(zhí)行的方式能做到動態(tài)抓取網(wǎng)頁內(nèi)容，模擬瀏覽網(wǎng)頁，鼠標(biāo)點擊、鍵盤輸入、頁面滾動等事件，這是搜索引擎爬蟲無法做到的。對于有訪問限制的網(wǎng)站，網(wǎng)頁采集器采用防屏蔽BT分發(fā)機制可解決此問題，無須設(shè)置代理IP，將任務(wù)分發(fā)運行。

網(wǎng)頁采集器可配置多種網(wǎng)站的采集規(guī)則，提供采集規(guī)則有效性的檢測功能(網(wǎng)頁變動監(jiān)控)，支持錯誤發(fā)送通知。網(wǎng)頁采集器同步采集API，支持異步采集方式。網(wǎng)頁采集器有數(shù)據(jù)查詢API，支持JSON、RSS(快速創(chuàng)建自己的Feed)的數(shù)據(jù)返回格式，加入了可并發(fā)速率配置。網(wǎng)頁采集器能夠定時、循環(huán)多種采集計劃任務(wù)配置，可在控制臺實時查看采集日志，支持日志文件查看。

網(wǎng)頁采集器提供分布式爬蟲部署，支持按爬蟲速率、隨機選擇，順序選擇的負(fù)載均衡方式。網(wǎng)頁采集器的采集任務(wù)的備份與恢復(fù)功能，嵌套采集功能，解決數(shù)據(jù)分布在多個頁面的情況，循環(huán)匹配支持?jǐn)?shù)據(jù)合并功能，解決一篇文章分成多頁的情況。網(wǎng)頁采集器配置了正則、XPath、CSSPath多匹配方式，基于 XPath 的可視化配置功能。網(wǎng)頁采集器可生成網(wǎng)址抓取插件、數(shù)據(jù)過濾插件、文件保存插件、數(shù)據(jù)發(fā)布插件四種插件，讓網(wǎng)頁采集器適應(yīng)更多更復(fù)雜的需求。