DataLakes 및 DataWarehouses: SEO에서 사용되는 방법

DataWarehouses 및 DataLakes의 개념은 오래 전에 데이터 분석가와 데이터 과학자의 일상 언어의 일부가 되었지만 우리는 지난 몇 년 동안 다른 산업 분야에서만 이에 대해 들었습니다.
예를 들어, 웹 분석가와 SEO 전문가는 직업의 특성과 자신이 하는 일과 데이터 조작 사이에 존재하는 강력한 연결 때문에 이러한 개념을 진지하게 살펴보기 시작했습니다. 많은 최근 기사에서 SEO DataLake 또는 SEO DataWarehouse를 구현하는 것에 대한 관심에 대해 이야기하고, 두 용어를 구분하지 않고 상호 교환 가능한 것으로 취급합니다.

이 기사에서는 SEO 및 웹 분석에서 DataLakes와 DataWarehouses의 목적과 사용 사례를 이해하기 위해 DataLakes와 DataWarehouses의 차이점을 결정하는 방법을 안내합니다.

DataWarehouse: 구조화된 데이터 저장소

"DataWarehouse"라는 용어가 처음 사용된 것은 1988년 Paul Murphy와 Barry Delvin의 An architecture for business and information systems 의 논문으로 거슬러 올라갑니다. 이 기사에서는 전략적 의사 결정에 유용한 모든 비즈니스 데이터를 모으는 액세스하기 쉬운 관계형 데이터베이스 환경이라는 개념의 첫 번째 정의를 제공합니다.

DataWarehouse에는 무엇이 포함되어 있습니까?

DataWarehouse는 회사의 전략적 의사 결정에 유용한 비즈니스 데이터를 한 곳에서 수집하는 데 사용됩니다. 우리는 고객 데이터에서 인벤토리 정보, 상업 웹사이트의 전환 또는 유기적 방문(예: Google과 같은 검색 엔진에서)에 이르기까지 모든 것을 포괄할 수 있는 비즈니스 데이터에 대해 이야기하고 있습니다.

DataWarehouse로 전송된 데이터는 운영 데이터베이스를 오프로드하는 데 사용되는 구조화되고 사전 처리된 데이터라는 것이 일반적으로 받아들여지고 있습니다.
DataWarehouse와 그것을 관리하는 사람들의 주요 목표는 다양한 소스가 서로 통신할 수 있도록 표준화하기 위해 다양한 이기종 소스(내부 및 외부 모두)에서 데이터를 컴파일하는 것입니다. 최종 목표는 이 데이터를 사용하여 분석, 보고, 의사 결정 지원 등을 수행하는 것입니다.

DataWarehouse의 일일 사용자는 누구입니까?

DataWarehouse의 특성과 여기에 포함된 데이터 형식 및 유형으로 인해 데이터 및 웹 분석가에게 이상적인 놀이터입니다.
데이터 분석가는 DataWarehouse 관리자(또는 관리 팀)와 협력합니다. 비즈니스 요구 사항과 사용 사례를 정의합니다. 데이터 소스와 데이터 업스트림을 처리하는 데 필요한 작업을 식별합니다. 이러한 데이터는 체인의 끝에서 데이터 분석가에 의해 사용됩니다.

사용자는 DataWarehouse와 어떻게 통신합니까?

데이터 소스가 식별되고 데이터가 DataWarehouse에서 처리, 수집 및 연결되면 데이터 분석가는 이 데이터를 분석에 사용하고 새로운 데이터 조합을 생성할 수 있습니다. 이 프로세스는 보고 대시보드, 알림 대시보드 등을 유지 관리하는 데 사용할 수 있습니다.

DataWarehouse에서 쿼리를 위해 가장 일반적으로 사용되는 프로그래밍 언어는 SQL(또는 SQL 유사 언어)입니다. SQL을 사용하면 데이터 분석가가 모니터링, 전략적 의사 결정 등 비즈니스 요구 사항을 충족하기 위해 데이터를 조작하고 처리할 수 있습니다.

DataWarehouses는 어떤 사용 사례와 프로젝트 유형을 제공합니까?

DataWarehouse 사용과 관련된 사용 사례의 전체 목록을 작성하는 것은 불가능합니다. 그러나 다음은 데이터 분석가가 작업할 가능성이 있는 프로젝트의 몇 가지 예입니다.

DataWarehouse 개선:
이 유형의 프로젝트는 DataWarehouse를 설정할 때뿐만 아니라 새로운 요구 사항이나 비즈니스 사용 사례가 식별될 때도 종종 발생합니다.
여기서 DWH에 새 데이터를 추가하는 문제입니다(다시 말하지만 내부 또는 외부 데이터일 수 있음).
이 경우 우리는 ETL(Extraction-Transformation-Loading) 프로세스에 대해 자주 이야기합니다.

• 추출:
  추가 작업에 필요한 다양한 소스에서 데이터를 식별하고 수집하는 첫 번째 단계입니다.
• 변환:
  이 두 번째 단계는 조정 없이 표준화 없이는 일반적으로 새 데이터를 사용하고 DWH에 이미 존재하는 데이터와 통신하도록 하는 것이 불가능하기 때문에 매우 중요합니다.
  따라서 형식 및 테이블 스키마 측면에서 DWH에 의해 부과된 경직성으로 인해 때때로 복잡해질 수 있는 필요한 표준화 단계입니다.
• 로딩 중:
  DWH에서 처리된(따라서 구조화된) 데이터 수집 단계입니다.

통계 분석의 실현:
이것은 DWH를 매우 자주 사용합니다. 목표는 데이터를 통해 X 또는 Y를 증명하거나, 사용 가능한 과거 데이터를 기반으로 통계를 생성하거나, 결과를 설명하기 위한 인과 관계를 설정하는 것일 수 있습니다.
보고 및 알림:
이것은 다시 한 번 매우 빈번한 사용 사례입니다. 실제로 DWH의 데이터는 고도로 구조화되고 형식이 지정되어(고정되고 미리 정의된 스키마 공유) 데이터를 보고 또는 경고 대시보드로 푸시하는 데 모두 적합합니다.

이것은 가능한 가장 간단하고 빠른 방법으로 운영 팀과 결과, 판매 등의 상태를 모니터링할 수 있어야 하는 최고 경영진의 반복적인 요청입니다.

이 모든 것을 요약하면 데이터 수집 및 통합 프로젝트(데이터 저장 및 기록화의 형태와 비교할 수도 있음)와 데이터 분석 및 평가 프로젝트(모니터링/대시보드 및 경고를 통한)의 2가지 유형의 프로젝트가 있습니다. ).

DWH의 개념은 오랫동안 데이터 작업을 하는 사람들의 일상 언어에 존재했습니다. 작동 방식과 수많은 사용 사례가 확인된 지 오래되었으며 DWH는 데이터 관리 문제와 관련된 다양한 성숙도의 많은 회사에서 찾을 수 있습니다.

이것은 훨씬 더 젊고 훨씬 덜 널리 퍼져 있는 DataLakes의 개념의 경우는 적습니다.

온크롤 데이터³

추가 데이터 세트에 대한 원활한 연결로 분석을 확장하십시오. CRM, 모니터링 솔루션 또는 기타 소스의 백링크, SEO 트래픽, 순위 및 사용자 지정 데이터 세트에 대한 데이터를 기반으로 SEO 전략을 분석합니다.

더 알아보기

DataLake: 메가데이터 호수(BigData)

이 개념의 기원은 Penthao의 CTO인 James Dixon에 기인합니다. 그는 이를 사전 처리 및 특정 사용 사례 없이 대량의 데이터를 저장하고 활용하기 위한 솔루션으로 정의했습니다... 매우 지향적인 DWH와 달리 즉각적인 활성화를 지향합니다.
DL은 BigData의 출현으로 더욱 중요해진, 오늘날 우리가 수집할 수 있는 이 방대한 양의 데이터를 어떻게 처리하고 이를 활용하는 방법에 대한 격차를 메우려고 합니다.

DataLake에는 무엇이 포함되어 있습니까?

나는 그의 개념의 "호수" 이름에 대한 설명과 DWH와의 차별성을 모두 제공하는 매우 인상적인 비교를 사용하는 James Dixon을 인용하여 시작하겠습니다.

“데이터마트를 생수 저장고로 생각한다면 - 데이터 레이크는 보다 자연스러운 상태의 거대한 물입니다. 데이터 레이크의 콘텐츠는 소스에서 흘러들어 호수를 채우고 호수의 다양한 사용자는 조사, 잠수 또는 샘플 채취를 위해 올 수 있습니다.”

이 인용문은 정확하고 고정된 패턴의 테이블로 구조화되고 정리된 DWH에 포함된 데이터 유형과 사전 처리 없이 사용할 수 있는 원시 DataLake에 포함된 데이터 유형 간의 차이를 완벽하게 보여줍니다. 탐색 여부에 관계없이 필요에 따라 샘플을 채취합니다.

DWH가 구조화된 데이터를 수용하도록 제한되는 경우 DataLake는 모든 종류의 원시 데이터(구조화 여부)를 저장하도록 만들어집니다. Tamara Dull(Amazon Web Service)과 Anne Buff(Microsoft SAS) 간의 토론은 DataLake의 콘텐츠에 대한 약간 더 구체적인 비전을 제공합니다.

“데이터 레이크는 정형, 반정형 및 비정형 데이터를 포함하여 원시 형식의 방대한 양의 원시 데이터를 보관하는 스토리지 리포지토리입니다. 데이터 구조와 요구 사항은 데이터가 필요할 때까지 정의되지 않습니다.”

DataLakes의 일일 사용자는 누구입니까?

데이터 분석가가 DHW에 포함된 구조화된 데이터로 작업하는 데 완벽하게 적합했다면 원시 데이터는 대신 이러한 유형의 데이터를 조작하는 데 더 나은 장비를 갖춘 데이터 과학자의 전문 분야입니다.
데이터 프로필 및 기본 사용자의 이러한 변경으로 인해 프로그래밍 언어와 사용 사례도 달라집니다.

DataLakes는 어떤 사용 사례와 프로젝트 유형을 제공합니까?

구조화되지 않은 특성과 DataLake가 포함할 수 있는 상당한 양의 데이터로 인해 사용 사례는 이전에 DWH 프레임워크에서 발견된 것과 매우 다를 수 있습니다. 예를 들면 다음과 같습니다.

• BigData의 부가가치를 창출하기 위한 머신 러닝 알고리즘 구현:
  우리는 여기에서 모든 종류의 데이터를 활용하는 기계 학습 알고리즘을 기반으로 하는 예측 분석에 대해 자주 이야기합니다.
  보다 구체적인 예를 들어 금융 부문(은행 및 보험)의 회사가 금융 거래 X가 사기일 확률을 확인하려고 한다고 가정해 보겠습니다. 이것은 DataLake에 포함된 천문학적인 양의 데이터(금액, 날짜, 빈도, 계정 소유자가 수행한 거래의 일반적인 프로필 등)를 학습하는 기계 학습 알고리즘을 생성할 수 있는 데이터 과학자를 요구할 수 있습니다. 목표는 잠재적인 사기 거래를 식별하는 데 사용되는 예측 연구를 수행하여 회사가 이를 감지할 때의 대응 시간을 줄이고 궁극적으로 그들과 고객의 큰 손실을 피할 수 있도록 하는 것입니다.
  이것은 기계 학습의 관심과 부가 가치를 설명하기 위해 정기적으로 사용되는 간단한 예이지만 상상할 수 있는 만큼 다른 것이 있습니다.
• DataWarehouse의 데이터 소스로서의 DataLakes:
  매우 간단하게 말하면 DataLake는 다양한 내부 및 외부 데이터 소스와 DWH 사이의 전송 영역 역할을 할 수 있습니다. DataLake의 바로 그 원리는 ML을 통해 예측 연구를 수행하거나 분석용 샘플로 추출하기 위해 모든 종류의 정형 또는 비정형 데이터를 중앙 집중화하는 것입니다. 따라서 DWH는 이 두 번째 범주의 프로젝트에 매우 적합한 것으로 보이며 DataLake를 잠재적 소스로 활용할 수 있습니다(필요한 경우 DataLake 데이터를 사전 처리를 통해 구조화된 방식으로 가져오는 경우).
• DataLake에서 BI(비즈니스 인텔리전스) 소프트웨어로:
  우리는 이것을 DataWarehouses에서 본 것과 유사한 용도로 볼 수 있습니다. 이 용도로 DataLake를 사용하는 데 특정 특성이 있다고 생각했습니다. DataLake를 사용하면 Tableau, Qlikview, Google Data Studio, Microstrategy 등과 같은 도구를 통해 약간 더 이국적인 시각화(포함된 다양한 데이터로 인해)를 만들 수 있습니다.

사용자는 DataLake와 어떻게 통신합니까?

사용 사례와 사용자(데이터 과학자)를 감안할 때 Python, Java, R, Scala 등과 같은 프로그래밍 언어를 매우 자주 찾을 수 있습니다.
대부분의 경우 이러한 언어는 데이터 과학 분야에서 오랫동안 사용되어 왔습니다.

따라서 DataLake는 BigData를 관리하기 위한 도구입니다. 고급 분석 및 시각화 목적을 위해 원시 데이터의 방대한 저장에 의존하므로 이전에는 많이 사용되지 않았던 데이터를 개선할 수 있습니다.

요약하자면, 다음은 이 기사의 시작부터 확립된 차별화 요소의 표입니다.

예측 분석, 머신 러닝, 데이터 소스와 DWH 간의 전환 영역, 고급 시각화 – BI, 데이터 기반 분석

이 두 개념을 보완적인 도구로 만드는 것은 이러한 차이점입니다. 많은 경우 회사의 거버넌스 및 데이터 관리의 성숙도에 따라 이 두 도구의 조합에 의존할 수 있습니다.
DWH는 주로 전통적인 보고 및 분석에 사용되는 반면, DataLake는 회사가 데이터 주체에 대한 성숙도에 가까워짐에 따라 최대 잠재력에 도달하기 전에 데이터 소스 역할을 합니다.

제 생각에 DataLakes는 일부 사람들이 생각하는 것처럼 DWH를 대체하기보다는 특히 BigData의 출현과 기업의 데이터 수집 능력 증가와 함께 21세기의 새로운 데이터 문제에 대한 대응책입니다.
둘 다 장점, 단점, 강점 및 약점이 있습니다. 두 가지를 최대한 활용하는 가장 좋은 방법은 두 가지를 함께 사용하여 모든 상황에 대처하고 보다 다양한 요구 사항을 처리하는 것입니다.

이제 개념을 명확하게 정의했으므로 마침내 마케팅, 보다 구체적으로 SEO를 위한 DataWarehouses 및 DataLakes의 사용에 중점을 둘 것입니다(많은 경우 전자에 해당하는 것이 후자에 해당하고 반대로).

DataWarehouse 및 DataLake SEO

여기서는 최소한 존재하는 데이터의 일부를 SEO 사용 사례에 사용할 수 있는 DataWarehouse 또는 DataLake(또는 둘 다)에 대해 이야기할 것입니다.

DataLakes 및 DataWarehouses를 마케팅 및 SEO와 연관시키는 이유는 무엇입니까?

SEO(그리고 더 일반적으로 마케팅)는 이미 최근 몇 년 동안 데이터에 대해 매우 눈에 띄는 방향으로 전환했습니다. 점점 더 많은 작업에서 다양한 데이터 소스를 사용해야 합니다.

• 분석 데이터(Google Analytics, AT 인터넷 등)
• 실적 데이터(Google Search Console, Analytics)
• 일부 사이트의 경우 매우 큰 데이터 "소스"인 로그 데이터는 높은 업데이트 빈도와 큰 저장 용량을 필요로 합니다.
• 네트링크 데이터(Majestic, Ahrefs, Babbar)
• 포지셔닝 데이터(SEMRush, Monitorank 등)
• 크롤링 데이터(OnCrawl 등)
• 때때로 비즈니스/산업 데이터도

이 목록에 Search Console, Majestic, Google Analytics와 같은 도구의 API 사용도 추가해야 하며, 이는 자연스럽게 이 기사의 앞부분에서 설명한 종류의 솔루션으로 나아가게 합니다.
SEO와 데이터 간의 강력한 연결 덕분에 점점 더 많은 웹 분석가와 SEO 전문가가 데이터 파이프라인을 구성하는 새로운 방법에 대해 배우게 되었습니다.

그러나 이러한 전환의 동인은 SEO와 데이터의 잠재력과 상호 연결성에 관한 것만은 아닙니다. 많은 일상적인 사용 사례는 DWH 및 DL에 대해 위에 나열된 프로젝트 유형과 일치합니다.

SEO DataWarehouse 또는 SEO DataLake의 사용 사례.

DataLake 또는 DataWarehouse의 사용이 문제를 해결할 때 고려해야 할 답변인 방법을 설명하기 전에 먼저 SEO 전문가가 일반적으로 직면하는 고충부터 시작하겠습니다.
주요 문제점 중 다음이 두드러집니다.

• Excel 파일의 곱셈(우리 시대의 느슨한 종이) 및 관련 복사 및 붙여넣기:
  많은 SEO의 경우 이것이 여전히 표준이지만 솔직히 말해서 시간이 많이 걸리고 제한적이며 인적 오류에 매우 도움이 됩니다. 이를 위해 DataWarehouse는 완벽한 솔루션입니다. DataWarehouses는 이를 수행하는 데 필요한 모든 KPI 또는 사용 가능한 다양한 데이터 소스에서 감사/분석을 수집할 수 있을 뿐만 아니라 예상 결과를 달성하는 데 필요한 처리를 자동화할 수 있습니다.
  DataWarehouse가 구축됨에 따라 점점 더 많은 사용 사례가 식별되고 점점 더 많은 문제가 해결되어 시간이 지남에 따라 점점 더 많은 시간이 절약됩니다.
• 용량 제한(알리듯이 Excel은 1,048,576줄을 초과하지 않는 경우에만 전체 파일을 열 수 있습니다. 이것은 많은 것처럼 보이지만 실제로는 오늘날의 볼륨에서 그리 많지 않습니다): 여기에는 특별한 사용 사례가 없습니다. 일반적으로 DataLakes와 DataWarehouses 모두 이러한 종류의 제한을 겪지 않습니다. 둘 다 모든 유형의 요구 사항에 대해 대용량 데이터를 요청할 수 있는 수단을 제공합니다. 이 특정한 경우에는 필요에 따라 둘 중 하나를 사용하여 용량 제한에서 벗어나 궁극적으로 이러한 상황을 보다 쉽게 ​​해결할 수 있다는 점을 기억하는 것이 중요합니다.
• 데이터 이력화의 필요성에 대응
  스포일러: 사용 사례 중 하나는 예를 들어 데이터 스튜디오 대시보드를 유지 관리하기 위해 매주 Google 스프레드시트에 데이터를 복사하고 페이징하는 대신 Google Search Console의 데이터 기록을 SEO DataWarehouse에 저장하는 것일 수 있습니다. 제 생각에는 SEO 전문가들 사이에서 대행사든 사내든 가장 일반적인 사용 사례 중 하나인 데이터 기록이 있다고 생각합니다. 실제로 많은 SEO 분석가가 과거 데이터를 보고 결론을 내립니다.
  직접 떠오른 예가 Google Search Console의 경우입니다. 오늘(API를 통해서도) 16개월의 기록에 대한 액세스만 제공합니다. 그리고 매주 Google 스프레드시트에 붙여넣기(또는 기타 모호한 방법)를 통해 내보내기를 통해 수동 백로그가 가능하다면 고통스럽고 지루할 뿐만 아니라 상당한 시간 낭비입니다.
  DataWarehouse로 해결할 수 있는 비교적 간단한 문제이기 때문에 이는 좋은 일입니다. Google Search Console API에 대한 자동 연결을 설정하고 실제 부가가치가 있는 데이터를 얻는 데 필요한 다양한 사전 처리 및 데이터 조합을 정의하고 마지막으로 API 호출을 자동화하기만 하면 됩니다.
• 크롤링 데이터, 잠재고객 데이터, 로그 등을 산업화된 방식으로 병합하거나 "교차 분석"하기 위해 더 많은 분석을 수행하려는 욕구.
  작은 경쟁 우위가 결코 손해가 되지 않기 때문입니다. 우리가 DataWarehouse와 DataLake에 대해 설명한 설명은 여기에서 그 자체로 의미가 있습니다. 두 도구의 주요 목표 중 하나는 데이터 수집 및 교차 분석 및/또는 기계 학습을 통해 분석의 새로운 가능성을 여는 것입니다.
  아주 대표적인 예를 하나만 인용하자면; Random Forest 또는 XG-Boost와 같은 기계 학습 알고리즘을 사용하여 Google에서 순위 예측을 수행합니다.
  아주 간단히 말해서, 동일한 메트릭을 기반으로 주어진 URL(및 따라서 더욱 구체적으로 특정 부문/주제에서 순위를 매길 가장 중요한 메트릭을 결정하기 위해).
  → 완전한 방법론은 Oncrawl의 제품 이사인 Vincent Terrasi가 작성한 "Successfully predicting Google Rankings at the 최첨단 데이터 사이언스" , 2018년 기사에서 찾을 수 있습니다.
• 고부가가치 작업에 집중하기 위해 가능한 한 보고를 자동화하려는 욕구. 다시 말하지만 이것은 DataWarehouse의 고전적인 사용 사례에 속합니다. 다양한 데이터 소스의 전체 복구 및 처리를 자동화할 수 있는 가능성을 제공하며 이러한 문제점을 완벽하게 해결합니다. 설정이 완료되면 테이블이 자동으로 DWH에 공급되며 모니터링, 경고 등을 위해 대시보드를 위한 BI 소프트웨어에 대한 연결로 사용할 수 있습니다. 물론 자동화는 보고 프로젝트에만 국한되지 않습니다. DWH와 DL은 모두 많은 자동화된 SEO 최적화에 사용할 수 있습니다. 예를 들어 내부 링크에 대한 동적 업데이트는 순위, 크롤링 예산, SEO 대상 등에 대해 차단합니다(DWH에 포함된 모든 데이터).
• 보안 문제를 완전히 끝내고(누가 무엇을, 어디서 찾아야 하는지 알고 있음) 유지 관리에 시간을 낭비하지 않으려는 바람. 엄밀히 말해서 사용 사례보다 프로세스 지향적인 측면에서 여기서 끝납니다.
  DataLakes와 DataWarehouses는 모두 다음과 같은 단순화된 방식으로 표시될 수 있는 특정 프로세스의 구현을 의미합니다.
  • 출발점은 요구 사항(비즈니스 팀/SEO – 데이터 분석가)으로 분류된 관찰입니다.
  • 그런 다음 도구를 관리하는 팀이 수행해야 하는 작업과 수행 방법을 이해할 수 있도록 보다 기술적인 사양으로 변환됩니다.
  • 이 동일한 관리 팀이 요청을 수행합니다.
  • 비즈니스 팀과 데이터 분석가는 수행된 작업에 대한 절차적 사용 사례를 생성합니다.
  • 체인의 두 끝(DataWarehouse 또는 DataLake의 비즈니스 팀과 관리 팀)이 입력 및 출력 측면에서 아무 것도 변경되지 않는지 확인하는 진행 중인 프로세스가 있습니다.
    이것은 구조의 일부가 아닌 데이터를 거부하는 DWH의 경우 특히 그렇습니다(미리 정의된 스키마).

다시 말하지만, 이것은 DataWarehouse – DataLake SEO에 대한 고충 및 가능한 사용 사례의 전체 목록이 아닙니다. 한계는 도구 자체보다 그것을 사용하는 사람들의 상상력 부족으로 인해 더 많이 접하게 됩니다.

SEO에 사용할 DataWarehouse 또는 DataLake 선택

결론적으로, 자주 듣거나 읽을 수 있는 것과는 달리 DataWarehouses와 DataLakes는 데이터 저장 및 수집을 위한 별도의 구조이며 호환되지 않습니다. 다른 것보다 하나를 선택할 필요가 없습니다. 정반대입니다. 둘 다 사용 사례가 다르며 약간의 접착력도 있습니다.

SEO의 경우는 대표적인 예이며 일반적으로 DataWarehouses 및 DataLakes에 대한 필요성을 강화합니다. 데이터는 SEO에 편재합니다. 우리는 다양한 소스에서 가져온 엄청난 양의 데이터를 조작해야 합니다. 따라서 이 컨텍스트에서 DataWarehouses 및 DataLakes에 대해 이야기하는 것은 놀라운 일이 아닙니다. 자동화 목적이든, 데이터를 통해 "증강" 분석을 수행하든, 단순히 반복되는 문제(고통점)를 해결하기 위한 것이든, SEO에서 DataWarehouses 또는 DataLakes의 많은 사용 사례를 상상할 수 있습니다.