Mengapa OnCrawl lebih dari sekadar perayap desktop: Selami lebih dalam ke platform SEO berbasis cloud kami

OnCrawl dibangun berdasarkan kebutuhan SEO dari pemain e-niaga Prancis n°1 pada tahun 2015. Ini berarti kami harus menskalakan analisis kami dan menangani situs web dengan lebih dari 50 juta URL dalam waktu singkat. Sulit, menurut Anda, untuk pemain baru? Sebenarnya, infrastruktur kami, di mana kami menghabiskan 1,5 juta€ hanya untuk R&D dan yang sebelumnya mendukung berbagai proyek data, telah membuatnya menjadi mudah. Karena perbedaan antara perayap desktop dan perayap berbasis cloud terkadang masih belum jelas, kami pikir mungkin berguna untuk menjelaskan mengapa OnCrawl menawarkan lebih dari sekadar perayap desktop sederhana – mulai dari kemampuan penskalaan tinggi hingga integrasi pihak ketiga dan kecepatan analisis.

Menskalakan hingga tak terbatas dan melampaui

Perayap desktop terbatas dalam kapasitas perayapan karena sumber daya dan memori komputer yang mereka jalankan. Kemungkinan besar mereka akan dibatasi untuk merayapi hanya beberapa ribu URL per perayapan. Meskipun ini dapat dilakukan untuk situs web kecil, masih perlu lebih banyak waktu untuk merayapi URL ini dibandingkan dengan perayap SaaS (Perangkat Lunak sebagai Layanan). Perayap berbasis cloud didistribusikan di banyak server sehingga Anda tidak dibatasi oleh kecepatan dan ukuran mesin Anda.

Artinya, tidak ada perayapan yang tidak bisa kami tangani. Kami telah bekerja untuk situs web kecil serta situs web yang sangat besar, termasuk beberapa perusahaan Fortune 500. Seperti yang disebutkan di pendahuluan, kami mengembangkan perayap SEO kami setelah Cdiscount, situs web e-niaga terbesar di Prancis, meminta kami untuk membuatkan mereka solusi khusus untuk menangani 50 juta+ URL dan kebutuhan SEO mereka dalam satu perayapan. Selain itu, kemampuan penskalaan kami telah menjadikan kami Alat SEO Terbaik selama dua tahun berturut-turut di Penghargaan Pencarian Eropa, upacara terkemuka di industri pencarian. Saat ini, kami mengumpulkan hingga 25 juta URL per hari dan per situs web, atau sekitar 1 miliar halaman web dan 150 miliar tautan per bulan. Anda dapat mempelajari lebih lanjut tentang teknologi kami dan cara kami menangani kebijakan GDPR di sini.

Kecepatan khusus, kemampuan luas

Karena aplikasi kami berbasis cloud, Anda tidak perlu memikirkan sumber daya dan kemampuan kecepatan mesin Anda. Ini juga berarti tidak ada batasan mengenai waktu atau jumlah perayapan yang dapat diluncurkan. Anda dapat meluncurkan perayapan sebanyak yang diizinkan oleh langganan Anda dan melakukan hal lain saat perayapan. Menggunakan solusi berbasis cloud juga berarti Anda dapat menutup jendela aplikasi dan menunggu perayapan selesai – ini bekerja sendiri dan tidak memerlukan pengawasan Anda. OnCrawl memungkinkan Anda menjadwalkan perayapan berdasarkan kebutuhan SEO Anda, apakah Anda perlu merayapi situs Anda seminggu sekali atau setiap bulan. Anda juga dapat memutuskan untuk mempercepat analisis Anda jika Anda membutuhkannya lebih cepat.
Karena aplikasi OnCrawl dapat digunakan untuk merayapi situs web apa pun, bot kami akan mengikuti arahan Perayapan-Penundaan yang dinyatakan dalam file robots.txt yang ditemukan di situs web target, jika ada.
Jika tidak, kami membatasi kecepatan perayapan dengan kecepatan 1 halaman per detik, sehingga bot kami tidak terlalu agresif terhadap situs web yang ditargetkan.
Ketika sebuah situs web memiliki direktif Perayapan-Tunda lebih tinggi dari 1, aplikasi kami mengeluarkan peringatan untuk memberi tahu Anda bahwa perayapan akan lebih lambat dari kecepatan yang diminta.
Jika Crawl-Delay lebih tinggi dari 30, kami menampilkan kesalahan. Kami tidak akan mengizinkan Anda untuk mengonfigurasi perayapan dengan penundaan perayapan yang begitu tinggi.
Satu-satunya cara untuk menyiapkan perayapan dalam situasi tersebut adalah dengan menggunakan file robots.txt virtual.
Untuk melakukannya, Anda harus terlebih dahulu memvalidasi proyek dengan akun Google Analytics Anda, sehingga kami dapat memastikan bahwa Anda memiliki semacam kepemilikan pada domain yang ingin Anda jelajahi.

Kami memiliki beberapa parameter berbeda yang memungkinkan Anda mengontrol perayapan:

• Percepat perayapan Anda
• Jeda, hentikan, luncurkan kembali, atau batalkan perayapan
• Jadwalkan perayapan untuk menghindari waktu lalu lintas puncak dan mengurangi tekanan pada server Anda saat bot kami datang ke situs Anda
• Lihat secara real-time halaman yang telah diambil, jumlah URL yang kami ambil sejauh ini dan lihat apakah ada masalah yang memperlambat perayapan Anda.

Analisis file log menjadi mudah

OnCrawl jauh lebih dari sekadar perayap SEO sederhana. Selama beberapa tahun terakhir, kami juga telah merilis penganalisis file log yang kuat yang menangani masalah yang tidak ditemukan oleh solusi SEO lainnya.

File log lengkap adalah cerminan sempurna dari kehidupan situs Anda. Baik itu pengunjung atau bot, halaman yang ditampilkan atau panggilan ke sumber daya, aktivitas apa pun di situs Anda tertulis di dalamnya.

Dengan informasi seperti alamat IP, kode status, agen pengguna, perujuk, dan data teknis lainnya, setiap baris log (data sisi server) dapat membantu Anda menyelesaikan analisis situs Anda, yang paling sering didasarkan pada analitik (lebih banyak sisi klien berorientasi).

Penganalisis file log kami mendukung semua jenis format log, dari yang standar seperti IIS, Apache di Ngnix hingga format khusus lainnya. Tidak ada analisis yang tidak bisa kami lakukan. Kami juga mengizinkan pengguna kami secara langsung mengambil data log mereka dari solusi pihak ketiga seperti Splunk, ELK / Elastic Stack, Amazon S3, OVH (ES) atau Cloudflare.

Ini berarti Anda tidak akan terjebak dengan pengelola file log pihak ketiga tambahan lagi, seperti yang Anda lakukan dengan beberapa pesaing kami.

Antarmuka kami memudahkan untuk mengunggah file log Anda secara otomatis melalui FTP yang aman dan pribadi. Hanya perlu beberapa langkah untuk menyelesaikan analisis file log Anda.

Anda juga dapat memantau file Anda sedang diproses secara real-time dan melihat apakah ada kesalahan yang memblokir unggahan mereka.

Integrasi pihak ketiga tanpa batas

OnCrawl telah bekerja mengembangkan konektor bawaan dengan solusi pemasaran pencarian terkemuka yang SEO tidak dapat hidup tanpanya: Google Search Console, Google Analytics, Adobe Analytics atau Majestic, hanya untuk beberapa nama. Mengintegrasikan solusi ini ke dalam proses audit Anda tidak berlebihan: ini memberikan pandangan yang lebih komprehensif tentang kinerja dan kesehatan situs web Anda di mesin telusur dan menjelaskan bagaimana bot dan pengunjung benar-benar berperilaku di situs web Anda. Anda juga menghemat waktu dan tenaga karena Anda tidak perlu mengolah data ini secara manual nanti di lembar bentang Excel.

Laporan tautan balik

Kami telah membangun hubungan tepercaya dengan Majestic, solusi intelijen tautan terkemuka. Analisis lintas data kami memungkinkan Anda menggabungkan data perayapan dan data log dengan data backlink Anda untuk memahami pengaruh tautan balik pada lalu lintas SEO dan frekuensi perayapan Anda. Setelah Anda menyiapkan segmentasi seluruh situs dari grup halaman khusus berdasarkan KPI Anda yang paling penting. Anda juga dapat memvisualisasikan jumlah backlink dalam kaitannya dengan tingkat kedalaman klik halaman atau memeriksa apakah jumlah backlink berpengaruh pada perilaku Google.
Analisis yang kami berikan, di mana data backlink dikorelasikan dan digabungkan pada tingkat URL dan hit bot, saat ini adalah satu-satunya yang ada di pasar.

Laporan peringkat

Kami juga telah mengembangkan konektor unik ke Google Search Console untuk memahami bagaimana situs Anda ditemukan dan diindeks, dan bagaimana pengoptimalan di halaman berdampak pada lalu lintas dan pengindeksan Anda. Kami memberikan wawasan standar namun lengkap mengenai distribusi kata kunci, tayangan, klik, dan rasio klik-tayang Anda dari waktu ke waktu, apakah itu di desktop atau seluler, untuk kata kunci bermerek atau tidak bermerek atau mengenai grup halaman Anda. Lebih penting lagi, kami juga menawarkan analisis unik yang belum pernah dicapai oleh pesaing kami.
OnCrawl menggunakan segmentasi dan data Anda dari file log untuk menafsirkan data peringkat Anda. Dengan demikian, Anda dapat mengidentifikasi karakteristik umum halaman yang diberi peringkat dan yang tidak terkait dengan kedalaman, popularitas internal, jumlah kata, inlink, waktu buka, dan evaluasi judul. Tidak hanya itu, Anda juga dapat memeriksa dampak panjang deskripsi dan data terstruktur pada rasio klik-tayang.
Terakhir, Peringkat OnCrawl memungkinkan Anda menggabungkan perayapan, file log, dan data Search Console dalam skala besar untuk menyorot halaman berperingkat dan memahami apakah anggaran perayapan memengaruhi posisi Anda. Tidak ada perayapan lain, baik desktop atau berbasis cloud, yang mendukung fitur tersebut.

laporan analitik

Kami mengizinkan Anda menghubungkan Google Analytics atau Adobe Analytics (ex-Omniture) untuk memahami bagaimana SEO pada halaman dan teknis memengaruhi kinerja lalu lintas organik dari mesin telusur. Kami membantu Anda memantau kinerja lalu lintas SEO dan perilaku pengguna terkait setiap bagian situs web Anda.

Penyerapan CSV

Sementara kami terus-menerus mengerjakan integrasi baru dari solusi pihak ketiga, kami tidak ingin meninggalkan Anda tanpa jenis data tertentu yang mungkin Anda perlukan untuk menjalankan audit teknis SEO Anda. Itu sebabnya kami mengizinkan Anda mengunggah file CSV dalam skala besar (Anda dapat mengunggah jutaan baris) untuk menambahkan lapisan data baru di tingkat URL. Anda dapat membuat segmentasi dan filter Anda sendiri berdasarkan data tertentu ini (peringkat, CRM, bisnis, data Google Ads, dll.) untuk melihat apakah halaman Anda yang paling strategis memenuhi tujuan Anda.

Buka API, analisis khusus

OnCrawl didasarkan pada platform yang dibangun di sekitar API. API REST OnCrawl digunakan untuk mengakses data perayapan Anda serta mengelola proyek dan perayapan Anda. Untuk menggunakan API ini, Anda harus memiliki akun OnCrawl, langganan aktif, dan token akses.
Anda dapat membuat aplikasi sendiri untuk meminta API ini dengan sangat mudah. Ini dapat dilakukan menggunakan token API yang dihasilkan oleh akun pengguna atau dengan menggunakan aplikasi OAuth untuk terhubung ke OnCrawl menggunakan akun pengguna.

Dengan menggunakan API kami, Anda dapat menulis aplikasi yang memanfaatkan banyak fitur OnCrawl, diterapkan di lingkungan Anda sendiri, menggunakan bahasa pemrograman dan platform yang Anda inginkan. Ini berarti Anda dapat membuat dasbor khusus, mengintegrasikan data kami ke platform lain, dan secara otomatis memicu perayapan setiap kali situs diperbarui.

Selain itu, untuk mempermudah integrasi Anda, semua bagan kami menyertakan panggilan API dan format respons di ikon informasi.

Tren dan pengoptimalan dari waktu ke waktu

OnCrawl mengatur perayapan Anda berdasarkan tanggal dalam proyek Anda. Kami menyimpan data perayapan Anda saat langganan Anda aktif, yang berarti Anda dapat melacak analisis selama berbulan-bulan atau bahkan bertahun-tahun. Harap diperhatikan bahwa jika Anda menggunakan fitur Log Monitoring kami, aplikasi OnCrawl menangani data pribadi berupa alamat IP pengunjung website Anda. Informasi ini diperlukan untuk membedakan secara andal antara Googlebots dan pengunjung lain. Alamat IP tidak disimpan dalam aplikasi OnCrawl. Data ini hanya ada di file asli yang Anda unggah ke FTP pribadi Anda yang aman.

Kami juga menawarkan fitur ekstensif yang memungkinkan Anda membandingkan dua perayapan, berdasarkan konfigurasi perayapan yang sama, untuk melihat tren dan perubahan dari waktu ke waktu. Ini adalah cara yang bagus untuk membandingkan pementasan dan versi langsung dan memeriksa apakah semuanya berjalan lancar selama migrasi.
Anda juga dapat membagikan proyek Anda dengan rekan tim atau klien, yang merupakan cara yang bagus untuk membuktikan nilai pengoptimalan Anda dan membagikan hasil.

Menampilkan evolusi konten duplikat antara dua perayapan

Menampilkan evolusi gerakan kedalaman antara dua perayapan

Semantik di mana-mana

Inovasi ada dalam DNA inti kami dan kami telah bekerja untuk menginjili SEO teknis selama bertahun-tahun. Dengan lebih dari 15 tahun mengerjakan masalah pemrosesan bahasa alami, Tanguy Moal, CTO di OnCrawl, telah membantu kami menggabungkan teknologi semantik dan Big Data untuk memahami volume data yang luar biasa yang tersedia di web. Kami telah mencapai pendeteksi konten duplikat dekat pertama menggunakan algoritma Simhash.

Cluster halaman serupa dengan evaluasi kanonik – cluster dapat difilter berdasarkan jumlah halaman atau persentase kesamaan konten

Kami juga baru-baru ini bekerja pada pendeteksi konten peta panas yang membantu pengguna kami mengidentifikasi blok konten unik dan persentase duplikasi di seluruh halaman web dan seluruh situs web. Semantik adalah bagian dari perayap SEO kami: analisis n-gram telah tersedia sejak awal untuk membantu Anda memahami bagaimana urutan kata didistribusikan dalam sebuah situs web. Kami satu-satunya perayap berbasis cloud dengan kemampuan semantik seperti itu. Di area di mana kueri penelusuran percakapan meningkat, SEO semantik membantu Anda meningkatkan lalu lintas ke situs web melalui metadata yang bermakna dan konten yang relevan secara semantik yang secara jelas dapat memberikan jawaban untuk maksud penelusuran tertentu.
OnCrawl lebih dari sekadar perayap desktop dan menawarkan analisis SEO berbasis cloud dan tak tertandingi dalam skala besar. OnCrawl memungkinkan Anda bertindak untuk benar-benar memahami bagaimana mesin pencari berperilaku di situs web Anda dan untuk membuat strategi SEO dengan percaya diri.

Jangan mengambil kata kami untuk itu. Cobalah sendiri dan mulai uji coba gratis Anda hari ini.