OnCrawl neden bir masaüstü tarayıcısından çok daha fazlasıdır: Bulut tabanlı SEO platformumuza derinlemesine bir bakış

OnCrawl, 2015 yılında 1 numaralı Fransız e-ticaret oyuncusunun SEO ihtiyaçları etrafında inşa edildi. Bu, analizimizi ölçeklendirmemiz ve kısa bir süre içinde 50 milyondan fazla URL'ye sahip bir web sitesiyle ilgilenmemiz gerektiği anlamına geliyordu. Yeni bir oyuncu için zor mu dersiniz? Aslında sadece Ar-Ge'ye 1,5 milyon € harcadığımız ve daha önce farklı data projelerini destekleyen altyapımız işimizi kolaylaştırdı. Masaüstü ve bulut tabanlı tarayıcılar arasındaki ayrım bazen hala belirsiz olduğundan, OnCrawl'ın neden basit bir masaüstü tarayıcıdan çok daha fazlasını sunduğunu açıklamanın yararlı olabileceğini düşündük - yüksek ölçeklendirme yeteneklerinden üçüncü taraf entegrasyonlarına ve analiz hızına kadar.

Sonsuzluğa ve ötesine ölçeklendirme

Masaüstü tarayıcıların, üzerinde çalıştıkları bilgisayarın kaynakları ve belleği nedeniyle tarama kapasitesi sınırlıdır. Büyük olasılıkla, tarama başına yalnızca birkaç bin URL'yi taramakla sınırlı olacaklardır. Bu, küçük web siteleri için uygun olsa da, bir SaaS (Hizmet Olarak Yazılım) tarayıcısına kıyasla bu URL'leri taramak daha fazla zaman alabilir. Bulut tabanlı tarayıcılar birçok sunucuya dağıtılır, böylece makinenizin hızı ve boyutuyla sınırlı kalmazsınız.

Bu, baş edemeyeceğimiz bir tarama olmadığı anlamına gelir. Fortune 500 şirketlerinden bazıları da dahil olmak üzere çok büyük web sitelerinin yanı sıra küçük web siteleri için de çalışıyoruz. Girişte belirtildiği gibi, Fransa'nın en büyük e-ticaret sitesi olan Cdiscount'un bizden 50 milyonun üzerindeki URL'leri ve SEO ihtiyaçlarını tek bir taramada ele almak için özel bir çözüm geliştirmemizi istemesinden sonra SEO tarayıcımızı geliştirdik. Ayrıca, ölçeklendirme yeteneklerimiz bizi arama sektörünün önde gelen töreni olan Avrupa Arama Ödülleri'nde iki yıl üst üste En İyi SEO Aracı yaptı. Şu anda, günde ve web sitesi başına 25 milyona kadar URL veya ayda yaklaşık 1 milyar web sayfası ve 150 milyar bağlantı topluyoruz. Teknolojimiz ve GDPR politikalarını nasıl ele aldığımız hakkında daha fazla bilgiyi buradan edinebilirsiniz.

Özel hız, kapsamlı yetenekler

Uygulamamız bulut tabanlı olduğundan, makinenizin kaynakları ve hız yetenekleri hakkında düşünmenize gerek yoktur. Bu aynı zamanda zamanlama veya başlatılabilecek tarama sayısıyla ilgili herhangi bir kısıtlama olmadığı anlamına gelir. Aboneliğinizin izin verdiği kadar çok tarama başlatabilir ve tarama sırasında başka şeyler yapabilirsiniz. Bulut tabanlı bir çözüm kullanmak aynı zamanda uygulama pencerenizi kapatabilir ve taramanın tamamlanmasını bekleyebilirsiniz - kendi başına çalışır ve sizin gözetiminize ihtiyaç duymaz. OnCrawl, sitenizi haftada bir veya her ay taramanız gerekip gerekmediğini SEO ihtiyaçlarınıza göre planlamanıza olanak tanır. Daha hızlı ihtiyacınız varsa, analizinizi hızlandırmaya da karar verebilirsiniz.
OnCrawl uygulaması herhangi bir web sitesini taramak için kullanılabildiğinden, botumuz, varsa hedef web sitesinde bulunan robots.txt dosyasında ifade edilen Tarama Gecikmesi yönergesini izleyecektir.
Aksi takdirde, tarama hızını saniyede 1 sayfa hızında sınırlandırırız, böylece botumuz hedeflenen web sitesine karşı çok agresif olmaz.
Bir web sitesi 1'den yüksek Tarama Gecikmesi yönergesine sahip olduğunda, uygulamamız taramanın istenen hızdan daha yavaş olacağını bildiren bir uyarı verir.
Tarama Gecikmesi 30'dan büyükse, bir hata gösteririz. Bu kadar yüksek bir tarama gecikmesine sahip bir tarama yapılandırmanıza izin vermeyeceğiz.
Bu koşullar altında bir tarama kurmanın tek yolu sanal bir robots.txt dosyası kullanmaktır.
Bunu yapmak için önce projeyi Google Analytics hesabınızla doğrulamanız gerekir, böylece taramak istediğiniz alan üzerinde bir tür sahipliğe sahip olduğunuzdan emin olabiliriz.

Taramanızın kontrolünü elinize almanıza izin veren birkaç farklı parametremiz var:

• Taramanızı hızlandırın
• Taramayı duraklatın, durdurun, yeniden başlatın veya iptal edin
• En yoğun trafik saatlerinden kaçınmak ve botlarımız sitenize geldiğinde sunucunuzdaki stresi azaltmak için bir tarama planlayın
• Getirilen sayfaları, şu ana kadar aldığımız URL'lerin sayısını gerçek zamanlı olarak görün ve taramanızı yavaşlatan herhangi bir sorun olup olmadığına bakın.

Günlük dosyaları analizi kolaylaştı

OnCrawl, basit bir SEO tarayıcısından çok daha fazlasıdır. Geçtiğimiz yıllarda, başka hiçbir SEO çözümünün bulamadığı sorunları ele alan güçlü bir günlük dosyaları analizörü de yayınladık.

Eksiksiz günlük dosyaları, sitenizin ömrünün mükemmel bir yansımasıdır. Ziyaretçiler veya botlar, görüntülenen sayfalar veya kaynaklara yapılan çağrılar olsun, sitenizdeki herhangi bir aktivite buna yazılır.

IP adresi, durum kodu, kullanıcı aracısı, yönlendiren ve diğer teknik veriler gibi bilgilerle, günlüklerin her satırı (sunucu tarafı verileri), sitenizin analizini tamamlamanıza yardımcı olabilir, bu genellikle analitiklere (daha çok istemci tarafı) dayanır. yönelik).

Günlük dosyaları çözümleyicimiz, IIS, Ngnix üzerinde Apache gibi standart biçimlerden daha özel biçimlere kadar her tür günlük biçimini destekler. Yapamayacağımız analiz yok. Ayrıca kullanıcılarımızın günlük verilerini Splunk, ELK / Elastic Stack, Amazon S3, OVH (ES) veya Cloudflare gibi üçüncü taraf çözümlerden doğrudan almasına izin veriyoruz.

Bu, bazı rakiplerimizle olduğu gibi artık ek bir üçüncü taraf günlük dosyaları yöneticisine takılmayacağınız anlamına gelir.

Arayüzümüz, günlük dosyalarınızı güvenli ve özel bir FTP aracılığıyla otomatik olarak yüklemenizi kolaylaştırır. Günlük dosyaları analizinizi tamamlamak yalnızca birkaç adım sürer.

Ayrıca, işlenmekte olan dosyalarınızı gerçek zamanlı olarak izleyebilir ve yüklemelerini engelleyen herhangi bir hata olup olmadığını görebilirsiniz.

Sınırsız üçüncü taraf entegrasyonu

OnCrawl, SEO'ların onsuz yaşayamayacağı önde gelen arama pazarlaması çözümleriyle yerleşik bağlayıcılar geliştirmek için çalıştı: Google Arama Konsolu, Google Analytics, Adobe Analytics veya Majestic, bunlardan sadece birkaçı. Bu çözümleri denetim sürecinize entegre etmek gereksiz değildir: web sitenizin arama motorlarındaki performansının ve sağlığının daha kapsamlı bir görünümünü sağlar ve botların ve ziyaretçilerin web sitenizde gerçekte nasıl davrandığını netleştirir. Ayrıca, bu verileri daha sonra Excel elektronik tablolarında manuel olarak sıkıştırmanız gerekmediğinden zamandan ve emekten tasarruf edersiniz.

geri bağlantı raporu

Lider bağlantı zekası çözümü olan Majestic ile güvenilir bir ilişki kurduk. Çapraz veri analizimiz, geri bağlantıların SEO trafiğiniz ve tarama sıklığınız üzerindeki etkisini anlamak için tarama verilerinizi ve günlük verilerinizi geri bağlantı verilerinizle birleştirmenize olanak tanır. En önemli KPI'larınıza dayalı olarak özel sayfa gruplarının site çapında bir segmentasyonunu oluşturduktan sonra. Ayrıca, sayfa tıklama derinliği düzeyine göre geri bağlantı sayısını görselleştirebilir veya geri bağlantı sayısının Google'ın davranışı üzerinde bir etkisi olup olmadığını inceleyebilirsiniz.
Sağladığımız, geri bağlantı verilerinin ilişkilendirildiği ve bir URL ile botların isabet düzeyinde birleştirildiği analizler şu anda piyasada tek olanlardır.

sıralama raporu

Ayrıca, sitenizin nasıl bulunduğunu ve dizine eklendiğini ve sayfa içi optimizasyonlarınızın trafiğiniz ve dizine eklemeniz üzerinde nasıl bir etkisi olduğunu anlamak için Google Arama Konsolu için benzersiz bir bağlayıcı geliştirdik. İster masaüstünde ister mobilde, markalı veya markasız anahtar kelimeler için veya sayfa gruplarınızla ilgili olarak anahtar kelime dağılımınız, gösterimleriniz, tıklamalarınız ve tıklama oranınız hakkında standart ancak kapsamlı bilgiler sağlıyoruz. Daha da önemlisi, rakiplerimizin hiçbirinin başaramadığı benzersiz analizler de sunuyoruz.
OnCrawl, sıralama verilerinizi yorumlamak için segmentasyonlarınızı ve günlük dosyalarınızdaki verileri kullanır. Böylece, derinlik, iç popülerlik, kelime sayısı, linkler, yükleme süresi ve başlık değerlendirmesi ile ilgili olmayan ve sıralamaya giren sayfaların ortak özelliklerini belirleyebilirsiniz. Sadece bu değil, açıklama uzunluğunun ve yapılandırılmış verilerin tıklama oranı üzerindeki etkisini de inceleyebilirsiniz.
Son olarak, OnCrawl Rankings, derecelendirilmiş sayfaları vurgulamak ve tarama bütçesinin konumlarınızı etkileyip etkilemediğini anlamak için tarama, günlük dosyaları ve Search Console verilerinizi geniş ölçekte birleştirmenize olanak tanır. Masaüstü veya bulut tabanlı başka hiçbir tarama bu tür özellikleri desteklemez.

Analitik raporu

Sayfa içi ve teknik SEO'nun arama motorlarından gelen organik trafik performanslarını nasıl etkilediğini anlamak için Google Analytics veya Adobe Analytics'i (eski Omniture) bağlamanıza izin veriyoruz. Web sitenizin her bölümüyle ilgili SEO trafik performansını ve kullanıcı davranışını izlemenize yardımcı oluyoruz.

CSV Alma

Sürekli olarak üçüncü taraf çözümlerden yeni entegrasyonlar üzerinde çalışırken, teknik SEO denetimlerinizi yürütmek için ihtiyaç duyabileceğiniz belirli bir veri türü olmadan sizi bırakmak istemedik. Bu nedenle, URL düzeyinde yeni bir veri katmanı eklemek için geniş ölçekte (milyonlarca satır yükleyebilirsiniz) CSV dosyaları yüklemenize izin veriyoruz. En stratejik sayfalarınızın hedeflerinizi karşılayıp karşılamadığını görmek için bu belirli verilere (sıralamalar, CRM, işletme, Google Ads verileri vb.) dayalı olarak kendi segmentasyonlarınızı ve filtrelerinizi oluşturabilirsiniz.

Açık API, özel analiz

OnCrawl, bir API etrafında oluşturulmuş bir platforma dayanmaktadır. OnCrawl REST API, tarama verilerinize erişmenin yanı sıra projelerinizi ve taramalarınızı yönetmek için kullanılır. Bu API'yi kullanmak için bir OnCrawl hesabınızın, aktif bir aboneliğinizin ve bir erişim jetonunuzun olması gerekir.
Bu API'yi çok kolay bir şekilde istemek için kendi uygulamanızı oluşturabilirsiniz. Bu, kullanıcı hesabı tarafından oluşturulan bir API belirteci kullanılarak veya kullanıcının hesabını kullanarak OnCrawl'a bağlanmak için bir OAuth uygulaması kullanılarak yapılabilir.

API'mizi kullanarak, tercih ettiğiniz programlama dilini ve platformları kullanarak, kendi ortamınızda dağıtılan OnCrawl'ın birçok özelliğinden en iyi şekilde yararlanan uygulamalar yazabilirsiniz. Bu, özel panolar oluşturabileceğiniz, verilerimizi diğer platformlara entegre edebileceğiniz ve bir site güncellendiğinde otomatik olarak bir taramayı tetikleyebileceğiniz anlamına gelir.

Ayrıca, entegrasyonu sizin için kolaylaştırmak için tüm çizelgelerimiz bilgi simgesinde API çağrılarını ve yanıt biçimini içerir.

Zaman içindeki eğilimler ve optimizasyonlar

OnCrawl, projeleriniz içinde taramalarınızı tarihe göre düzenler. Aboneliğiniz aktifken tarama verilerinizi saklarız, bu da aylarca hatta yıllarca süren analizleri takip edebileceğiniz anlamına gelir. Günlük İzleme özelliğimizi kullanırsanız, OnCrawl uygulamasının web sitenizi ziyaret edenlerin IP adresleri biçimindeki kişisel verileri işlediğini lütfen unutmayın. Bu bilgiler, Googlebot'ları ve diğer ziyaretçileri güvenilir bir şekilde ayırt etmek için gereklidir. IP adresleri OnCrawl uygulamasında saklanmaz. Bu veriler yalnızca özel, güvenli FTP'nize yüklediğiniz orijinal dosyada bulunur.

Ayrıca, zaman içindeki eğilimleri ve değişiklikleri tespit etmek için aynı tarama yapılandırmasına dayalı olarak iki taramayı karşılaştırmanıza olanak tanıyan kapsamlı özellikler de sunuyoruz. Bu, bir hazırlama ve canlı sürümü karşılaştırmanın ve geçiş sırasında her şeyin yolunda gidip gitmediğini kontrol etmenin harika bir yoludur.
Projelerinizi ekip arkadaşlarınızla veya müşterilerinizle de paylaşabilirsiniz; bu, optimizasyonlarınızın değerini kanıtlamanın ve sonuçları paylaşmanın harika bir yoludur.

İki tarama arasında yinelenen içeriğin gelişimini gösterme

İki tarama arasındaki derinlik hareketlerinin evrimini gösterme

her yerde anlambilim

İnovasyon bizim çekirdek DNA'mızdadır ve yıllardır teknik SEO'yu yaymak için çalışıyoruz. OnCrawl'ın CTO'su Tanguy Moal, 15 yılı aşkın bir süredir doğal dil işleme sorunları üzerinde çalışarak, web'de bulunan muazzam miktarda veriyi anlamlandırmak için anlamsal ve Büyük Veri teknolojilerini birleştirmemize yardımcı oldu. Simhash algoritmasını kullanarak ilk yakın kopya içerik dedektörünü elde ettik.

Standart değerlendirmeye sahip benzer sayfalar kümesi - kümeler, sayfa sayısına veya içerik benzerliği yüzdesine göre filtrelenebilir

Ayrıca son zamanlarda, kullanıcılarımızın benzersiz içerik bloklarını ve web sayfaları ve tüm web sitesi genelinde yineleme yüzdesini belirlemesine yardımcı olan bir ısı haritası içerik algılayıcı üzerinde çalışıyoruz. Semantik, SEO tarayıcımızın bir parçasıdır: n-gram analizi, bir web sitesinde kelime dizilerinin nasıl dağıldığını anlamanıza yardımcı olmak için başlangıçtan beri mevcuttur. Bu tür anlamsal yeteneklere sahip tek bulut tabanlı tarayıcı biziz. Konuşma arama sorgularının arttığı bir alanda, anlamsal SEO, belirli bir arama amacı için açık bir şekilde yanıt sağlayabilen anlamlı meta veriler ve anlamsal olarak alakalı içerik aracılığıyla bir web sitesine gelen trafiği iyileştirmenize yardımcı olur.
OnCrawl, bir masaüstü tarayıcısından çok daha fazlasıdır ve ölçekte benzersiz ve bulut tabanlı SEO analizi sunar. OnCrawl, arama motorlarının web sitenizde nasıl davrandığını gerçekten anlamak için hareket etmenize ve güvenle bir SEO stratejisi oluşturmanıza olanak tanır.

Bizim sözümüze aldırma. Kendiniz deneyin ve ücretsiz denemenizi bugün başlatın.