什麼是數據抓取以及如何使用它？
已發表: 2017-09-13什麼是數據抓取？
數據抓取，也稱為網絡抓取，是將信息從網站導入電子表格或保存在計算機上的本地文件的過程。 這是從網絡獲取數據的最有效方式之一，在某些情況下，它還可以將這些數據傳輸到另一個網站。 數據抓取的流行用途包括：
- 網絡內容/商業智能研究
- 旅遊預訂網站/價格比較網站的定價
- 通過抓取公共數據源（例如 Yell 和 Twitter）來尋找銷售線索/進行市場研究
- 將產品數據從電子商務網站發送到另一個在線供應商（例如 Google 購物）
而這份清單只是表面上的。 數據抓取有大量的應用程序——它在幾乎任何需要將數據從一個地方移動到另一個地方的情況下都很有用。
數據抓取的基礎知識相對容易掌握。 讓我們來看看如何使用 Excel 設置一個簡單的數據抓取操作。
在 Microsoft Excel 中使用動態 Web 查詢進行數據抓取
在 Microsoft Excel 中設置動態 Web 查詢是一種簡單、通用的數據抓取方法，使您能夠將來自外部網站（或多個網站）的數據饋送設置到電子表格中。
觀看這個出色的教程視頻，了解如何將數據從 Web 導入 Excel - 或者，如果您願意，可以使用以下書面說明：
- 在 Excel 中打開一個新工作簿
- 單擊要導入數據的單元格
- 單擊“數據”選項卡
- 點擊“獲取外部數據”
- 點擊“來自網絡”符號
- 請注意出現在網頁左上角和某些內容旁邊的黃色小箭頭
- 將要從中導入數據的網頁的 URL 粘貼到地址欄中（我們建議選擇數據顯示在表格中的站點）
- 點擊“開始”
- 單擊要導入的數據旁邊的黃色箭頭
- 點擊“導入”
- 彈出“導入數據”對話框
- 單擊“確定”（或更改單元格選擇，如果您願意）
如果您已按照這些步驟操作，您現在應該能夠看到電子表格中列出的網站數據。
動態 Web 查詢的好處在於，它們不只是將數據作為一次性操作導入電子表格，而是將其輸入，這意味著電子表格會定期更新最新版本的數據，因為它顯示在源網站。 這就是為什麼我們稱它們為動態的。
要配置動態 Web 查詢更新其導入數據的頻率，請轉到“數據”，然後轉到“屬性”，然後選擇頻率（“每 X 分鐘刷新一次”）。
使用工具自動抓取數據
掌握在 Excel 中使用動態 Web 查詢是了解數據抓取的有用方法。 但是，如果您打算在工作中定期使用數據抓取，您可能會發現專用的數據抓取工具更有效。
以下是我們對市場上一些最流行的數據抓取工具的看法：
數據抓取器（Chrome 插件）
Data Scraper 直接插入您的 Chrome 瀏覽器擴展程序，允許您從一系列現成的數據抓取“食譜”中進行選擇，以從瀏覽器中加載的任何網頁中提取數據。
該工具特別適用於 Twitter 和 Wikipedia 等流行的數據抓取來源，因為該插件為此類網站提供了更多種類的配方選項。
我們通過挖掘 Twitter 主題標籤“#jourorequest”來嘗試使用 Data Scraper，以獲取公關機會，使用該工具的一個公共食譜。 這是我們返回的數據的味道：
如您所見，該工具提供了一個表格，其中包含最近在主題標籤上發布的每個帳戶的用戶名，以及他們的推文及其 URL
擁有這種格式的數據對於 PR 代表來說比簡單地在 Twitter 的瀏覽器視圖中查看數據更有用，原因有很多：
- 它可用於幫助創建新聞聯繫人數據庫
- 您可以繼續參考此列表並輕鬆找到您要查找的內容，而 Twitter 會不斷更新
- 該列表是可排序和可編輯的
- 它為您提供數據的所有權 - 可以隨時脫機或更改
Data Scraper 給我們留下了深刻的印象，儘管它的公共配方有時有些粗糙。 嘗試在 Chrome 上安裝免費版本，並嘗試提取數據。 請務必觀看他們提供的介紹影片，以了解該工具的工作原理以及提取所需數據的一些簡單方法。
Web哈維
WebHarvy 是一個點擊式數據抓取工具，有免費試用版。 它最大的賣點是它的靈活性——您可以使用該工具的內置 Web 瀏覽器導航到您想要導入的數據，然後可以創建自己的挖掘規範以從源網站中準確提取您需要的內容。
進口.io
Import.io 是一個功能豐富的數據挖掘工具套件，可以為您完成大部分繁重的工作。 有一些有趣的功能，包括“發生了什麼變化？” 報告可以通知您指定網站的更新 - 非常適合深入分析競爭對手。
營銷人員如何使用數據抓取？
正如您將在這一點上收集到的那樣，數據抓取幾乎可以在使用信息的任何地方派上用場。 以下是營銷人員如何使用該技術的一些關鍵示例：
收集不同的數據
FeedOptimise 的首席執行官 Marcin Rosinski 說，數據抓取的一大優勢是它可以幫助您將不同的數據收集到一個地方。 “抓取使我們能夠從多個來源獲取非結構化、分散的數據，並將其收集到一個地方並使其結構化，”Marcin 說。 “如果您有多個由不同實體控制的網站，您可以將它們全部合併到一個提要中。
“這方面的用例範圍是無限的。”
FeedOptimise 提供各種數據抓取和數據饋送服務，您可以在他們的網站上找到相關信息。
加快研究
數據抓取最簡單的用途是從單一來源檢索數據。 如果有一個網頁包含大量可能對您有用的數據，那麼將這些信息以有序格式輸入您的計算機的最簡單方法可能是數據抓取。
嘗試在 Twitter 上查找有用的聯繫人列表，並使用數據抓取導入數據。 這將使您了解該過程如何適應您的日常工作。
將 XML 提要輸出到第三方站點
將產品數據從您的網站提供給 Google 購物和其他第三方賣家是電子商務數據抓取的關鍵應用。 它使您可以自動化更新產品詳細信息的潛在費力過程——如果您的庫存經常變化，這一點至關重要。
“數據抓取可以為 Google 購物輸出您的 XML 提要，”Target Internet 的營銷總監 Ciaran Rogers 說。 “ 我曾與許多在線零售商合作過，他們會隨著產品的庫存不斷向他們的網站添加新的 SKU。 如果您的電子商務解決方案沒有輸出合適的 XML 供稿，您可以將其連接到您的 Google Merchant Center，這樣您就可以宣傳可能成為問題的最佳產品。 通常，您的最新產品可能是最暢銷的產品，因此您希望在它們上線後立即對其進行廣告宣傳。 我使用數據抓取來生成最新的列表以輸入 Google Merchant Center。 這是一個很好的解決方案，實際上，一旦你有了數據，你可以做很多事情。 使用 Feed，您可以每天標記轉化率最高的產品，以便與 Google Adwords 共享該信息，並確保您對這些產品的出價更具競爭力。 一旦你設置它，它就完全自動化了。 您可以通過這種方式控制的良好 Feed 的靈活性非常好，它可以為客戶喜愛的廣告系列帶來一些非常明確的改進。”
您可以為自己在 Google Merchant Center 中設置一個簡單的數據饋送。 這是如何完成的：
如何設置 Google Merchant Center 的數據饋送
使用前面描述的一種技術或工具，創建一個文件，該文件使用動態網站查詢來導入您網站上列出的產品的詳細信息。 此文件應定期自動更新。
詳細信息應按此處指定的方式列出。
- 將此文件上傳到受密碼保護的 URL
- 轉到 Google Merchant Center 並登錄（首先確保您的 Merchant Center 帳戶已正確設置）
- 轉到產品
- 點擊加號按鈕
- 輸入您的目標國家並創建提要名稱
- 選擇“計劃提取”選項
- 添加您的產品數據文件的 URL，以及訪問它所需的用戶名和密碼
- 選擇與您的產品上傳計劃最匹配的獲取頻率
- 點擊保存
- 您的商品數據現在應該可以在 Google Merchant Center 中使用了。 只需確保單擊“診斷”選項卡以檢查其狀態並確保一切正常。
數據抓取的陰暗面
數據抓取有很多積極的用途，但它也確實被一小部分人濫用。
數據抓取最普遍的濫用是電子郵件收集——從網站、社交媒體和目錄中抓取數據以發現人們的電子郵件地址，然後將其出售給垃圾郵件發送者或詐騙者。 在某些司法管轄區，使用諸如數據抓取之類的自動化手段來獲取具有商業目的的電子郵件地址是非法的，並且幾乎被普遍認為是不良營銷行為。
許多網絡用戶已採用技術來幫助降低電子郵件收集者獲取其電子郵件地址的風險，包括：
- 地址修改：在公開發佈時更改電子郵件地址的格式，例如輸入“patrick[at]gmail.com”而不是“[email protected]”。 這是在社交媒體上保護您的電子郵件地址的一種簡單但稍微不可靠的方法 - 一些收割機會搜索各種 munged 組合以及正常格式的電子郵件，因此它並不完全密封。
- 聯繫表格：使用聯繫表格而不是在您的網站上發布您的電子郵件地址。
- 圖片：如果您的電子郵件地址以圖片形式顯示在您的網站上，那麼大多數參與電子郵件收集的人都無法使用它。
數據抓取的未來
無論您是否打算在工作中使用數據抓取，建議您對這個主題進行自我教育，因為它可能在未來幾年變得更加重要。
現在市場上有數據抓取 AI，它可以使用機器學習來更好地識別傳統上只有人類才能解釋的輸入——比如圖像。
從圖像和視頻中抓取數據的重大改進將對數字營銷人員產生深遠的影響。 隨著圖像抓取變得更加深入，我們將能夠在我們自己看到在線圖像之前對它們有更多的了解——這就像基於文本的數據抓取一樣，將幫助我們更好地做很多事情。
然後是最大的數據抓取工具——谷歌。 當谷歌能夠準確地從圖像中推斷出與從副本頁面中推斷出的一樣多時，整個網絡搜索的體驗將會發生轉變——從數字營銷的角度來看，這會翻倍。
如果您對這是否會在不久的將來發生有任何疑問，請試用 Google 的圖像解釋 API Cloud Vision，並告訴我們您的想法。 立即獲得您的免費會員資格 - 絕對不需要信用卡
免費會員