A/B 테스트가 사이트 속도에 어떤 영향을 미칩니까? 여기에서 알아보십시오

최적화 에이전시에서 A/B 테스트 도구가 웹사이트 속도에 어떤 영향을 미치는지 조사했을 때 지연 현상이 발견되었습니다. 대부분은 최종 사용자가 인지할 수 있는 것처럼 보였지만 일부는 웹사이트의 사용자 경험에 강력한 위협이 되었습니다(약 4초!).

우리도 분석에 참여하여 Optimizely, VWO 및 AB Tasty와 같은 경쟁 업체와 정면으로 경쟁 하여 상위 3위 안에 들었습니다 . (실제로 우리는 이 세 가지보다 더 나은 순위를 차지했습니다!)

그 연구 이후 몇 년 동안 우리는 더 빠르게 만들기 위해 노력했습니다. 사실, 속도는 우리의 개발 노력을 이끌고 있습니다. 우리 코드의 성능이 아주 조금만 향상되어도 실험을 제공하기 위해 우리를 사용하는 수천 개의 웹사이트의 로딩 시간에 영향을 미치기 때문입니다.

옵티마이저로서 여러분도 최적화 믹스에 실험을 추가하여 웹사이트 성능에 어떤 영향을 미치는지 관심을 가져야 합니다.

다음은 염두에 두어야 할 몇 가지 필수 사항 입니다.

A/B 테스트에는 몇 밀리초가 소요될 수 있습니다.

이상적인 세계에서는 A/B 테스트나 실험을 실행해도 웹사이트 속도에 전혀 영향을 미치지 않습니다.

하지만 그렇지 않습니다.

당사와 같은 타사 A/B 테스트 솔루션 제공업체를 사용하고 사용자가 실험 중인 페이지를 요청할 때 요청의 일부가 당사 서버에서 제공되기 때문입니다. 이 앞뒤로 약간의 지연이 발생합니다.

테스트하는 요소에 따라 사용자가 이 지연을 어느 정도 인지할 수 있습니다.

이를 이해하기 위해 두 가지 시나리오를 살펴보겠습니다.

홈페이지의 헤드라인 또는 UVP를 테스트한다고 가정합니다.

이 헤드라인은 로딩이 웹사이트에 대한 사용자 경험에 매우 중요하기 때문에 "영웅" 요소라고 할 수 있습니다. 표시되는 데 걸리는 시간은 사용자가 인식하는 "로딩 경험"에 직접적인 영향을 미칩니다.

또한 기본 콘텐츠가 표시되기 전에 웹사이트가 소요되는 시간이므로 웹사이트의 "처음 페인트하는 시간" 측정항목에 추가됩니다.

사용하는 실험 도구가 이 헤드라인을 전달하는 데 시간이 걸리는 경우 사용자는 웹사이트에서 로딩 속도가 눈에 띄게 느려집니다.

이제 이것을 홈페이지 중간에 있는 요소에 대해 실행 중인 실험과 대조해 보십시오. 이 경우 사용자가 영웅 영역을 통과하여 페이지의 해당 부분으로 스크롤할 때 사용할 수 있을 가능성이 높기 때문에 이 경험 제공으로 인해 발생하는 지연은 거의 식별할 수 없습니다.

감지할 수 있든 없든 사용하는 변환 경험 또는 기타 A/B 테스트 도구는 웹사이트의 로딩 속도를 추가합니다.

즉, 웹 사이트가 속도에 최적화되어 있는 경우 Convert Experiences와 같은 빠른 A/B 테스트 솔루션을 사용하고 올바르게 설정해도 웹 사이트의 로딩 시간에는 거의 영향을 미치지 않습니다 . 즉, 속도를 유지 하고 "2초 미만 부하" 목표 또는 기타 야심찬 속도 목표를 향해 계속 작업할 수 있습니다.

속도에 대한 A/B 테스트의 실제 영향 이해…

속도에 대한 A/B 테스트 도구의 영향을 선별하고 이해하는 것은 까다로울 수 있습니다.

이는 Google Page Speed ​​Test와 같은 대부분의 웹사이트 속도 진단 도구가 웹사이트의 성능을 측정하는 다양한 방법을 사용하기 때문입니다.

요컨대 다음과 같이 간단하지 않습니다.

경험 변환 전 X초 및 경험 변환 후 X.5초.

왜요?

당사는 귀하의 웹사이트와 당사 서버 및 귀하가 사용하는 통합 간에 데이터를 중계할 수 있기 때문입니다. 예를 들어 사용자가 실험의 목표를 완료하면 웹사이트가 로드될 때 경험 변환 + Google 애널리틱스 통합을 사용하는 경우 해당 데이터를 Google 애널리틱스 계정으로 보냅니다. 그러나 이러한 작업에 소요되는 시간 은 실제로 웹사이트의 로딩 시간에 추가되지 않습니다 . 이것은 백그라운드에서 작업하고 사용자와 웹 사이트를 방해하지 않는 것입니다.

진단 속도 테스트 도구가 아닌 도구의 지원 팀이 테스트 도구의 속도 영향에 대한 질문에 가장 잘 대답할 수 있습니다. 게다가 몇 가지만 제대로 하면 제로 임팩트 테스트를 실현하는 데 정말 가까워질 수 있습니다.

최대한 제로 임팩트 테스트에 접근하기

전환, 사용자 경험 및 SEO와 관련하여 속도에 대해 결정된 한 가지는 다음과 같습니다.

모든 밀리초가 중요합니다.

웹사이트에 또 다른 스크립트를 추가할 때 밀리초 단위의 속도 최적화를 절약할 수 있기를 원합니다.

여기서 A/B 테스트 및 경험 도구를 선택하는 것이 중요 합니다.

"어디에나 있는" A/B 테스트 솔루션으로 진행

실험 서비스 제공업체는 실험 중인 페이지의 일부를 제공하므로 사용자가 있는 곳 가까이에서 제공해야 하는 콘텐츠를 호스팅하는 것이 중요합니다.

즉, 이 콘텐츠를 호스팅하는 실험 서비스 제공업체의 서버가 사용자와 가까이 있어야 합니다.

그렇지 않으면 대기 시간(방문자가 웹사이트를 요청하고 서버가 웹사이트를 제공하는 데 걸리는 시간)으로 인해 웹사이트 로딩 시간에 몇 초가 추가될 수 있습니다.

예를 들어, Convert Experience는 Akamai CDN 네트워크를 기반으로 합니다. 또한 Akamai는 130개 이상의 국가에 있는 260,000개 이상의 서버를 통해 귀하의 사용자가 있는 곳 가까이에 있습니다. 그리고 이를 통해 우리는 최소한의 대기 시간으로 빠르게 사용자에게 콘텐츠를 제공할 수 있습니다.

속도를 우선시하는 A/B 테스팅 솔루션으로 진행

실험과 같은 서비스 기술은 아무리 빨라도 항상 더 잘할 수 있습니다 . 예를 들어 우리는 항상 Akamai 네트워크에 있지 않았습니다. 귀하의 실험을 더 빠르게 제공하기를 원했기 때문에 (Amazon Cloudfront에서) 솔루션으로 이동하도록 솔루션을 재설계했습니다.

Akamai로 전환하여 테스트를 제공할 때 많은 수의 DNS 조회를 줄이고 각 경험 보기에서 수십 밀리초의 속도를 절약했습니다.

최적의 설정을 지원하는 A/B 테스팅 솔루션으로 진행 ️

최적의 실험 설정이란 실험이 항상 린 스니펫 (올바른 위치에 배치됨), 제한된 수의 목표, 깔끔한 코드 및 무엇보다도 실험 중인 요소의 논리적 실행을 사용한다는 것을 의미합니다.

솔루션도 유지 관리해야 합니다. 예를 들어, 비활성 실험을 정기적으로 보관하여(불필요한 서버 호출을 방지하기 위해), 적절한 캐싱 설정을 보장(첫 번째 로드 후 더 빠른 전달을 가능하게 함), 미디어를 잘 관리(빠른 전달을 위해) 등.

이러한 것들은 로딩 시간과 사용자 경험에 큰 영향을 미치며 쉽게 통제 불능 상태가 될 수 있습니다.

그렇기 때문에 Convert의 지원 및 성공 팀은 실험을 더 빠르게 수행할 수 있도록 실험 및 도구 구성을 올바르게 수행할 수 있도록 지원 및 성공 팀을 대기시키고 있습니다. 우리는 또한 이것에 대한 많은 문서를 가지고 있습니다.

획기적인 성공(및 지속적인 성장)을 위해 지불하는 비용

전환율을 높이고 계속 개선하는 데 실험만큼 효과적인 전술은 거의 없다는 점을 감안할 때 속도 문제로 인해 시도를 피할 수 없습니다.

게다가, 당신이 올바르게 한다면 A/B 테스트나 어떤 형태의 실험도 당신의 웹사이트를 느리게 만들지 않을 것입니다. 물론, 작은 부작용이 존재하지만... 그게 전부입니다.

Convert Experience와 같은 가벼운 실험 솔루션을 사용하면 웹사이트 로딩 시간에 몇 초를 추가하거나 SEO 채널을 위험에 빠뜨리거나 사용자를 실망시키지 않고 실험을 순식간에 제공하여 실험을 더욱 완화할 수 있습니다. 사용해 볼 준비가 되셨나요? 15일 무료 평가판에 등록하세요.