Apa Itu Pengikisan Data Dan Bagaimana Cara Menggunakannya?
Diterbitkan: 2017-09-13Apa itu Pengikisan Data?
Pengikisan data, juga dikenal sebagai pengikisan web, adalah proses mengimpor informasi dari situs web ke dalam spreadsheet atau file lokal yang disimpan di komputer Anda. Ini adalah salah satu cara paling efisien untuk mendapatkan data dari web, dan dalam beberapa kasus untuk menyalurkan data tersebut ke situs web lain. Penggunaan populer dari pengikisan data meliputi:
- Riset untuk konten web/intelijen bisnis
- Harga untuk situs pemesan perjalanan/situs perbandingan harga
- Menemukan prospek penjualan/melakukan riset pasar dengan merayapi sumber data publik (mis. Yell dan Twitter)
- Mengirim data produk dari situs e-commerce ke vendor online lain (mis. Google Shopping)
Dan daftar itu hanya menggores permukaan. Pengikisan data memiliki banyak sekali aplikasi – ini berguna dalam hampir semua kasus di mana data perlu dipindahkan dari satu tempat ke tempat lain.
Dasar-dasar pengikisan data relatif mudah dikuasai. Mari kita lihat cara menyiapkan tindakan pengikisan data sederhana menggunakan Excel.
Pengikisan Data dengan kueri web dinamis di Microsoft Excel
Menyiapkan kueri web dinamis di Microsoft Excel adalah metode pengikisan data yang mudah dan serbaguna yang memungkinkan Anda menyiapkan umpan data dari situs web eksternal (atau beberapa situs web) ke dalam spreadsheet.
Tonton video tutorial yang luar biasa ini untuk mempelajari cara mengimpor data dari web ke Excel – atau, jika Anda mau, gunakan instruksi tertulis di bawah ini:
- Buka buku kerja baru di Excel
- Klik sel tempat Anda ingin mengimpor data
- Klik tab 'Data'
- Klik 'Dapatkan data eksternal'
- Klik simbol 'Dari web'
- Perhatikan panah kuning kecil yang muncul di kiri atas halaman web dan di samping konten tertentu
- Tempel URL halaman web tempat Anda ingin mengimpor data ke bilah alamat (sebaiknya pilih situs tempat data ditampilkan dalam tabel)
- Klik 'Pergi'
- Klik panah kuning di sebelah data yang ingin Anda impor
- Klik 'Impor'
- Kotak dialog 'Impor data' muncul
- Klik 'OK' (atau ubah pilihan sel, jika Anda suka)
Jika Anda telah mengikuti langkah-langkah ini, Anda seharusnya sekarang dapat melihat data dari situs web yang ditetapkan di spreadsheet Anda.
Hal terbaik tentang kueri web dinamis adalah mereka tidak hanya mengimpor data ke dalam spreadsheet Anda sebagai operasi satu kali – mereka memasukkannya, artinya spreadsheet diperbarui secara berkala dengan versi data terbaru, seperti yang muncul di situs web sumber. Itu sebabnya kami menyebutnya dinamis.
Untuk mengonfigurasi seberapa sering kueri web dinamis Anda memperbarui data yang diimpornya, buka 'Data', lalu 'Properti', lalu pilih frekuensi (“Segarkan setiap X menit”).
Pengikisan data otomatis dengan alat
Memahami penggunaan kueri web dinamis di Excel adalah cara yang berguna untuk mendapatkan pemahaman tentang pengikisan data. Namun, jika Anda bermaksud menggunakan pengikisan data secara teratur dalam pekerjaan Anda, Anda mungkin menemukan alat pengikis data khusus yang lebih efektif.
Berikut adalah pemikiran kami tentang beberapa alat pengikis data paling populer di pasaran:
Pengikis Data (plugin Chrome)
Slot Data Scraper langsung ke ekstensi browser Chrome Anda, memungkinkan Anda memilih dari berbagai "resep" pengikisan data yang sudah jadi untuk mengekstrak data dari halaman web mana pun yang dimuat di browser Anda.
Alat ini bekerja sangat baik dengan sumber pengikisan data populer seperti Twitter dan Wikipedia, karena plugin menyertakan lebih banyak variasi opsi resep untuk situs tersebut.
Kami mencoba Data Scraper dengan menambang tagar Twitter, "#jourorequest", untuk peluang PR, menggunakan salah satu resep publik alat. Berikut adalah gambaran dari data yang kami dapatkan kembali:
Seperti yang Anda lihat, alat ini telah menyediakan tabel dengan nama pengguna setiap akun yang baru-baru ini diposting di tagar, ditambah tweet mereka dan URL-nya
Memiliki data ini dalam format ini akan lebih berguna bagi perwakilan PR daripada sekadar melihat data di tampilan browser Twitter karena sejumlah alasan:
- Ini dapat digunakan untuk membantu membuat database kontak pers
- Anda dapat terus merujuk kembali ke daftar ini dan dengan mudah menemukan apa yang Anda cari, sedangkan Twitter terus memperbarui
- Daftar ini dapat diurutkan dan dapat diedit
- Ini memberi Anda kepemilikan data – yang dapat diambil secara offline atau diubah kapan saja
Kami terkesan dengan Data Scraper, meskipun resep publiknya terkadang agak kasar. Coba instal versi gratis di Chrome, dan mainkan dengan mengekstrak data. Pastikan untuk menonton film intro yang mereka sediakan untuk mendapatkan gambaran tentang cara kerja alat dan beberapa cara sederhana untuk mengekstrak data yang Anda inginkan.
WebHarvy
WebHarvy adalah pengikis data titik-dan-klik dengan versi uji coba gratis. Nilai jual terbesarnya adalah fleksibilitasnya – Anda dapat menggunakan browser web bawaan alat ini untuk menavigasi ke data yang ingin Anda impor, dan kemudian dapat membuat spesifikasi penambangan Anda sendiri untuk mengekstrak dengan tepat apa yang Anda butuhkan dari situs web sumber.
import.io
Import.io adalah suite alat penambangan data kaya fitur yang melakukan banyak kerja keras untuk Anda. Memiliki beberapa fitur menarik, termasuk "Apa yang berubah?" laporan yang dapat memberi tahu Anda tentang pembaruan situs web tertentu – ideal untuk analisis pesaing yang mendalam.
Bagaimana pemasar menggunakan pengikisan data?
Seperti yang akan Anda kumpulkan pada titik ini, pengikisan data dapat berguna di mana saja di mana informasi digunakan. Berikut adalah beberapa contoh utama tentang bagaimana teknologi digunakan oleh pemasar:
Mengumpulkan data yang berbeda
Salah satu keuntungan besar dari pengikisan data, kata Marcin Rosinski, CEO FeedOptimise, adalah dapat membantu Anda mengumpulkan data yang berbeda ke dalam satu tempat. “Perayapan memungkinkan kami mengambil data yang tidak terstruktur dan tersebar dari berbagai sumber dan mengumpulkannya di satu tempat dan membuatnya terstruktur,” kata Marcin. “Jika Anda memiliki beberapa situs web yang dikendalikan oleh entitas yang berbeda, Anda dapat menggabungkan semuanya menjadi satu feed.
“Spektrum kasus penggunaan untuk ini tidak terbatas.”
FeedOptimise menawarkan berbagai macam layanan pengikisan data dan umpan data, yang dapat Anda temukan di situs web mereka.
Mempercepat penelitian
Penggunaan paling sederhana untuk pengikisan data adalah mengambil data dari satu sumber. Jika ada halaman web yang berisi banyak data yang mungkin berguna bagi Anda, cara termudah untuk memasukkan informasi tersebut ke komputer Anda dalam format yang teratur mungkin adalah dengan mengorek data.
Coba temukan daftar kontak yang berguna di Twitter, dan impor data menggunakan pengikisan data. Ini akan memberi Anda gambaran tentang bagaimana proses tersebut dapat masuk ke dalam pekerjaan sehari-hari Anda.
Mengeluarkan umpan XML ke situs pihak ketiga
Mengumpankan data produk dari situs Anda ke Google Shopping dan penjual pihak ketiga lainnya adalah aplikasi utama pengikisan data untuk e-niaga. Ini memungkinkan Anda untuk mengotomatiskan proses yang berpotensi melelahkan untuk memperbarui detail produk Anda – yang sangat penting jika stok Anda sering berubah.
“Pengikisan data dapat menampilkan umpan XML Anda untuk Google Belanja,” kata Direktur Pemasaran Target Internet, Ciaran Rogers. “ Saya telah bekerja dengan sejumlah pengecer pengecer online yang terus menambahkan SKU baru ke situs mereka saat produk tersedia. Jika solusi E-niaga Anda tidak menghasilkan umpan XML yang sesuai yang dapat Anda kaitkan ke Google Merchant Center sehingga Anda dapat mengiklankan produk terbaik Anda, itu bisa menjadi masalah. Seringkali produk terbaru Anda berpotensi menjadi penjual terbaik, jadi Anda ingin mengiklankannya segera setelah diluncurkan. Saya telah menggunakan pengikisan data untuk menghasilkan cantuman terkini untuk dimasukkan ke Google Merchant Center. Ini adalah solusi yang bagus, dan sebenarnya, ada begitu banyak yang dapat Anda lakukan dengan data setelah Anda memilikinya. Dengan menggunakan umpan, Anda dapat menandai produk konversi terbaik setiap hari sehingga Anda dapat membagikan informasi tersebut dengan Google Adwords dan memastikan Anda menawar lebih kompetitif pada produk tersebut. Setelah Anda mengaturnya, semuanya cukup otomatis. Fleksibilitas umpan bagus yang Anda kendalikan dengan cara ini sangat bagus, dan ini dapat menghasilkan beberapa peningkatan yang sangat pasti dalam kampanye yang disukai klien.”
Anda dapat menyiapkan umpan data sederhana ke Google Merchant Center untuk Anda sendiri. Berikut cara melakukannya:
Cara menyiapkan umpan data ke Google Merchant Center
Menggunakan salah satu teknik atau alat yang dijelaskan sebelumnya, buat file yang menggunakan kueri situs web dinamis untuk mengimpor detail produk yang terdaftar di situs Anda. File ini harus diperbarui secara otomatis secara berkala.
Detailnya harus ditetapkan seperti yang ditentukan di sini.
- Unggah file ini ke URL yang dilindungi kata sandi
- Buka Google Merchant Center dan masuk (pastikan akun Merchant Center Anda sudah diatur dengan benar terlebih dahulu)
- Pergi ke Produk
- Klik tombol plus
- Masukkan negara target Anda dan buat nama feed
- Pilih opsi 'pengambilan terjadwal'
- Tambahkan URL file data produk Anda, bersama dengan nama pengguna dan kata sandi yang diperlukan untuk mengaksesnya
- Pilih frekuensi pengambilan yang paling sesuai dengan jadwal unggah produk Anda
- Klik Simpan
- Data produk Anda sekarang seharusnya tersedia di Google Merchant Center. Pastikan Anda mengklik tab 'Diagnostik' untuk memeriksa statusnya dan memastikan semuanya bekerja dengan lancar.
Sisi gelap dari pengikisan data
Ada banyak kegunaan positif untuk pengikisan data, tetapi itu juga disalahgunakan oleh minoritas kecil.
Penyalahgunaan pengikisan data yang paling umum adalah pengumpulan email – pengikisan data dari situs web, media sosial, dan direktori untuk mengungkap alamat email orang, yang kemudian dijual ke spammer atau penipu. Di beberapa yurisdiksi, menggunakan cara otomatis seperti pengikisan data untuk mengumpulkan alamat email dengan maksud komersial adalah ilegal, dan hampir secara universal dianggap sebagai praktik pemasaran yang buruk.
Banyak pengguna web telah mengadopsi teknik untuk membantu mengurangi risiko pemanen email mendapatkan alamat email mereka, termasuk:
- Address munging: mengubah format alamat email Anda saat mempostingnya secara publik, misalnya mengetik 'patrick[at]gmail.com' alih-alih '[email protected]'. Ini adalah pendekatan yang mudah tetapi sedikit tidak dapat diandalkan untuk melindungi alamat email Anda di media sosial – beberapa pemanen akan mencari berbagai kombinasi munged serta email dalam format normal, jadi tidak sepenuhnya kedap udara.
- Formulir kontak: menggunakan formulir kontak alih-alih memposting alamat email Anda di situs web Anda.
- Gambar: jika alamat email Anda ditampilkan dalam bentuk gambar di situs web Anda, itu akan berada di luar jangkauan teknologi kebanyakan orang yang terlibat dalam pengumpulan email.
Masa Depan Pengikisan Data
Apakah Anda berniat menggunakan pengikisan data atau tidak dalam pekerjaan Anda, disarankan untuk mendidik diri sendiri tentang subjek tersebut, karena kemungkinan akan menjadi lebih penting dalam beberapa tahun ke depan.
Sekarang ada data scraping AI di pasar yang dapat menggunakan pembelajaran mesin untuk terus menjadi lebih baik dalam mengenali input yang hanya dapat ditafsirkan oleh manusia secara tradisional – seperti gambar.
Peningkatan besar dalam pengikisan data dari gambar dan video akan memiliki konsekuensi luas bagi pemasar digital. Saat pengikisan gambar menjadi lebih mendalam, kami akan dapat mengetahui lebih banyak tentang gambar online sebelum kami melihatnya sendiri – dan ini, seperti pengikisan data berbasis teks, akan membantu kami melakukan banyak hal dengan lebih baik.
Lalu ada pengikis data terbesar – Google. Seluruh pengalaman pencarian web akan berubah ketika Google dapat secara akurat menyimpulkan dari gambar sebanyak mungkin dari halaman salinan – dan itu menjadi dua kali lipat dari perspektif pemasaran digital.
Jika Anda ragu apakah hal ini dapat terjadi dalam waktu dekat, cobalah API interpretasi gambar Google, Cloud Vision, dan beri tahu kami pendapat Anda. dapatkan keanggotaan gratis Anda sekarang - sama sekali tidak memerlukan kartu kredit
KEANGGOTAAN GRATIS 