Crawl over Crawl 사용 가능

크롤링을 통한 크롤링 기능을 사용하면 두 가지 다른 크롤링을 비교 하고 크롤링 진화 를 표시할 수 있습니다.

2016년에는 다양한 크롤링 간의 글로벌 추세를 파악할 수 있는 'Trends'에 대한 이전 릴리스를 기반으로 했습니다. 이제 SEO 개선 사항에 대한 전체 보기에 액세스 하고 특정 테마에 대한 크롤링 간의 차이점을 강조 할 수 있습니다. Crawl over Crawl 업데이트에는 데이터를 읽을 수 있는 새로운 유형의 그래프가 포함되었습니다.

2019년에는 크롤링을 통한 크롤링 기능이 개선되었습니다. 이제 다음을 검사할 수 있습니다.

• 프로덕션 버전과 스테이징 웹 사이트 또는 모바일 버전과 데스크톱 버전과 같이 동일하거나 유사한 페이지가 포함된 두 가지 버전의 웹 사이트.
• 사이트 변경 전과 후 와 같이 서로 다른 두 시점의 동일한 웹사이트.

두 가지 버전의 웹사이트 비교

두 웹 사이트를 비교하기 위해 OnCrawl은 다른 사이트의 웹 주소 차이를 확인하기 위해 두 가지 다른 크롤링에 대해 제공한 시작 URL을 확인합니다. 이 두 가지 버전의 웹 사이트에 동일한(또는 거의 동일한) 콘텐츠가 포함되어 있다고 가정합니다. 이는 비교하는 두 도메인, 폴더 또는 하위 도메인에 있는 URL 슬러그의 대부분이 동일해야 함을 의미합니다 .

다음은 비교할 수 있는 사이트의 몇 가지 예입니다.

시작 URL 간의 복잡한 차이의 경우 자동 일치가 충분하지 않을 수 있습니다. 이 경우 크롤링을 설정할 때 채팅을 통해 OnCrawl에 문의하라는 오류가 표시됩니다. 특정 사례에 맞게 자동 일치를 무시할 수 있습니다.

두 개의 다른 시점에서 하나의 웹사이트 비교

웹 사이트의 개선 또는 주요 변경 전후와 같이 두 개의 다른 시점에서 한 웹 사이트를 비교하려면 다음을 제공해야 합니다.

• 동일한 시작 URL
• 동일한 크롤링 범위(동일한 하위 도메인 탐색 규칙)

크롤링을 통한 크롤링을 설정하는 방법

두 개의 기존 크롤링 간에 크롤링을 통한 크롤링을 실행하거나 새 크롤링을 생성할 때 이전 크롤링과의 비교를 요청할 수 있습니다. 크롤링을 통한 크롤링 생성에 대한 자세한 내용은 OnCrawl의 기술 자료에서 찾을 수 있습니다.

Crawl over Crawl 햇살을 읽는 방법

당신은 전통적인 파이처럼 햇살을 읽습니다. 이러한 그래픽은 웹사이트의 진화를 따르 거나 크롤링 후 크롤링하거나 웹사이트의 두 버전(예: 라이브 버전과 재구성 중) 간의 차이점을 확인 하는 데 매우 유용합니다.
이 다단계 원형 차트를 사용하면 주어진 테마에 따라 두 개의 크롤링을 비교할 수 있습니다.

• 첫 번째 수준 및 내부 원: 첫 번째 크롤링(이전 크롤링)에 속한 페이지를 표시합니다.
• 두 번째 수준 및 외부 원 : 내부 원의 각 세그먼트에 해당하는 두 번째 크롤링(최신 크롤링)의 페이지를 표시합니다.

따라서 예를 들어 첫 번째 크롤링에서 더 이상 두 번째 크롤링에 없는 인덱싱 가능한 페이지를 쉽게 찾을 수 있으며 그 반대의 경우도 마찬가지입니다.

이 차트에서 내부 원은 첫 번째 크롤링 관점(이전 크롤링 관점)에서 페이지의 재분할을 보여줍니다. 인덱싱 가능한 페이지, 인덱싱 가능한 페이지가 없는 페이지, 첫 번째 크롤링에 없었지만 두 번째 크롤링(회색 섹션)에 나타나는 페이지가 있음을 알 수 있습니다.

그런 다음 내부 원의 각 섹션에 대해 두 번째 크롤링에서 지정된 섹션의 페이지 재분할을 볼 수 있습니다. 내부 회색 섹션은 해당 페이지가 첫 번째 크롤링에 존재하지 않았지만 두 번째 크롤링에서 나타남을 의미합니다(내부 회색에 속하는 외부 녹색 및 빨간색 섹션).

회색 섹션은 페이지가 속한 서클에 따라 구조에 새 페이지가 존재하는지 여부를 의미합니다.

범례를 클릭하여 표시하거나 집중할 데이터를 결정할 수 있습니다. Crawl 2는 보다 포괄적인 보기를 제공합니다.

내부 원을 살펴보겠습니다.

색인 가능성에 따른 첫 번째 크롤링의 페이지 분포

첫 번째 크롤링에는 10,854개의 인덱싱 가능한 페이지와 177개의 인덱싱할 수 없는 페이지가 포함됩니다. 1 661 페이지는 두 번째 크롤링에서만 발견되었습니다.

이제 외부 원을 살펴보십시오. 첫 번째 서클의 각 세그먼트에 대해 두 번째 크롤링에서 이러한 페이지의 분포를 찾습니다.

첫 번째 크롤링에서 10,854개의 인덱싱 가능한 페이지 중 10,104개만 두 번째 크롤링에서 여전히 인덱싱할 수 있습니다. 560페이지는 이제 색인을 생성할 수 없으며 190페이지는 두 번째 크롤링 당시 크롤링 가능한 웹사이트의 일부가 아니었습니다.

작은 섹션인 첫 번째 크롤링에서 색인을 생성할 수 없는 페이지에 집중해 보겠습니다.

인덱싱 가능한 페이지와 웹사이트 구조에 없는 페이지를 첫 번째 크롤링 시 범례를 사용하여 숨김으로써 첫 번째 크롤링에서 인덱싱할 수 없는 페이지에만 집중할 수 있습니다.

첫 번째 크롤링에서 177개의 인덱싱할 수 없는 페이지 중 94개는 두 번째 크롤링에서 인덱싱할 수 있고 13개는 인덱싱할 수 있습니다.

첫 번째 크롤링에서 177개의 인덱싱할 수 없는 페이지 중 70개가 두 번째 크롤링에 더 이상 존재하지 않습니다. 94 + 13 + 70 = 177. 첫 번째 크롤링에서 177개의 인덱싱할 수 없는 페이지의 예상 분석을 찾습니다.

새 페이지에 집중: 두 번째 크롤링에서만 찾은 페이지

이제 범례를 사용하여 첫 번째 크롤링에서 인덱싱 가능한 페이지와 인덱싱할 수 없는 페이지를 모두 숨기고 이 크롤링 중에 웹 사이트 구조의 일부가 아닌 페이지만 표시해 보겠습니다. 이를 통해 인덱싱 측면에서 새 페이지의 상태를 볼 수 있습니다.

모든 새 페이지: 1 661 페이지.
새로 생성된 1,661 페이지 중 709 페이지는 인덱싱할 수 없습니다.
새로 생성된 1661 페이지 중 952 페이지를 인덱싱할 수 있습니다.

요약: 두 번째 크롤링의 모든 페이지

10 104 페이지는 첫 번째 크롤링에서 인덱싱 가능했습니다. 11 150은 이제 두 번째 항목에서 인덱싱할 수 있습니다. 177 페이지는 첫 번째 크롤링에서 인덱싱할 수 없었지만 1 282 페이지는 이제 두 번째 크롤링에서 인덱싱할 수 없습니다.
1661 페이지가 생성되었으며 260 페이지가 구조에서 삭제되었습니다.

크롤링을 통한 크롤링: 사용 가능한 데이터

이 새로운 기능은 비즈니스 전문성에 따라 다음 탭으로 구분됩니다.

• 구조
• 내부 연결
• 콘텐츠
• 상태 코드
• 성능

예를 들어 '콘텐츠' 섹션에서 두 크롤링 간의 중복 차이점에 중점을 둘 것입니다.

또한 두 크롤링 간에 페이지 깊이가 어떻게 다른지 분석할 수 있습니다. 아래 그래프에서 깊이 차이를 볼 수 있습니다.

예를 들어, 깊이 5를 보면 크롤링 1과 크롤링 2 사이에 더 얕거나 더 깊은 깊이로 이동한 페이지나 더 얕거나 더 깊은 깊이에서 오는 페이지를 볼 수 있습니다. 여기에서 크롤링 1과 깊이 5에 있었던 264페이지 더 얕은 깊이(깊이 4, 3 또는 2)로 이동했습니다.

이것은 사용 가능한 항목에 대한 개요입니다. 또한 데이터 탐색기를 사용하면 크롤링 비교를 위해 700개 이상의 메트릭을 조사할 수 있습니다.