A/B 테스팅의 윤리. 좋은 것, 나쁜 것, 미래

A/B 테스트에서 윤리에 대해 생각해 본 적이 있습니까?

우리 모두는 옳고 그름을 알려주는 윤리적 나침반을 가지고 있습니다. 그리고 디지털 비즈니스로서 우리는 사용자의 최선의 이익을 염두에 두어야 합니다. 그렇죠?

음, 물이 약간 탁해지는 곳입니다. A/B 테스팅은 성장에 관한 것입니다. 우리 둘 다 이것을 알고 있습니다. 따라서 테스트가 최종 사용자에게 미치는 영향을 간과하기 쉽습니다. 우리는 아마도 우리의 수익을 늘리고 이익을 내고 싶을 것입니다.

물론, 우리는 비윤리적인 일을 시작하지 않습니다.

우리는 실제가 아닌 카운트다운 타이머나 백엔드와 연결되지 않은 재고 수와 같이 눈살을 찌푸리게 하는 것으로 여겨지는 것들을 멀리하려고 할 수도 있습니다.

하지만 우리 제품이 진정으로 사람들의 삶을 바꿀 수 있다면 어떨까요? 우리 제품 이 사람들을 더 행복하고 건강하고 부유하게 만들 수 있다면 어떨까요? 우리 제품이 이 중 하나를 수행한다면 마케팅이나 판매 전략을 사용하여 우리 제품을 최종 사용자의 손에 전달하기 위해 우리가 할 수 있는 모든 일을 해야 한다고 주장 할 수 있습니다 .

내가 말했듯이, 우리가 헤엄치고 있는 것은 혼탁한 바다입니다. 비즈니스 KPI와 사용자 이익이 항상 일치하는 것은 아닙니다. 사실, 나는 그들이 대다수의 회사와 확실히 일치하지 않는다고 말할 위험이 있습니다.

따라서 이러한 윤리적 문제를 해결하고 고객을 행복하게 하며 수익을 증대할 수 있는 방법을 자세히 살펴보겠습니다.

윤리는 A/B 테스트에 어떻게 적합합니까?

나는 최근 행동 심리학자이자 A/B 테스팅 전문가인 Bart Schutz와 이야기를 나누었습니다. 우리 통화에서 그는 표면적으로는 승자처럼 보이지만 최종 사용자에게 큰 윤리적 영향을 미치는 A/B 테스트의 완벽한 예를 제시했습니다.

예약 웹사이트에 가서 호스텔의 청결이 강조되는 것을 본다고 상상해 보십시오. 당신은 아마 좋은 아이디어라고 생각할 것입니다. 상상할 수 있듯이 가장 청결도 점수가 높은 호스텔이 가장 많은 클릭을 얻을 것입니다. 그리고 그들은 했다. 매출이 증가했고 모두가 행복했으며 윤리적인 문제가 전혀 없었습니다.

그것은 그들의 수석 심리학자가 특히 여성들 사이에서 청결과 안전감 사이의 연관성을 연구한 기사를 발견하기 전까지였습니다. 그리고 호스텔의 청결함을 강조함으로써 암묵적인 안전감을 유발할 수 있으며 실제로는 안전하지 않은 호스텔로 더 많은 여성들을 몰고 갈 수 있습니다.

표면적으로 이 A/B 테스트는 비즈니스와 고객 모두에게 이익이 되는 것처럼 보였습니다. 비즈니스는 예약 증가로 이익을 얻었고 고객은 객실의 청결도를 보고 이익을 보는 것 같았습니다.

그러나 실험을 하고 데이터를 분석한 결과 큰 윤리적 딜레마가 발생했습니다. 기업의 최대 이익이 반드시 고객, 특히 여성 고객에게 최고의 이익이 되는 것은 아닙니다.

이것은 매우 구체적인 예이며 귀하의 비즈니스와 전혀 관련이 없을 수도 있지만 A/B 테스트가 최종 사용자에게 얼마나 큰 영향을 미칠 수 있는지 보여줍니다.

그리고 심리학자들의 적절한 데이터 분석과 연구가 없었다면 이 연결고리를 결코 찾지 못했을 것입니다.

윤리적인 A/B 테스트는 어떤 모습일까요?

A/B 테스트 실험의 예측 결과에 대해 원하는 모든 것을 추측할 수 있습니다.

그러나 실험을 수행하고 정확한 데이터를 얻고 올바른 분석을 수행할 때까지... 우리는 윤리적 의미를 모릅니다.

물론 때로는 명백합니다. 그렇다면 인간으로서 목소리를 내고 목소리를 내는 것이 우리의 의무입니다. 그것이 클라이언트, 에이전시 또는 테스트를 수행하는 사람이든. 그러나 예약 사이트의 예에서 보았듯이 때로는 실험의 윤리적 의미를 보기가 매우 어렵습니다.

그리고 이것이 바로 여기에 있는 메시지입니다.

인간의 행동은 너무 복잡하기 때문에 우리는 종종 실험이 미칠 수 있는 광범위한 영향을 간과하게 됩니다. 왜냐하면 우리가 그것을 인식하지 못할 때 우리는 그것을 분석하지 않기 때문입니다. 그리고 그것을 분석하지 않으면 사람들의 부와 건강, 행복에 해를 끼치는 테스트를 추진할 수 있습니다.

A/B 테스팅에 접근할 때 고려해야 할 사항은 무엇입니까?

첫 번째 단계는 데이터가 완전히 신뢰할 수 있는지 확인한 다음 이 신뢰할 수 있는 데이터를 기반으로 실험 및 분석을 시작하여 신뢰할 수 있는 결과를 보장하는 것입니다.

그리고 우리가 윤리적으로 할 수 있는 유일한 진짜 일은 우리 테스트의 가능한 부정적이거나 해로운 영향에 대한 분석을 엄격하게 하는 것입니다.

다음에 A/B 테스트를 할 때 자신에게 윤리적인 질문을 하십시오. 현재 귀하가 보유한 모든 신뢰할 수 있는 데이터와 지식으로 이 테스트가 최종 사용자에게 부정적인 영향을 미칠 수 있습니까? 그리고 실험하기로 선택한 경우 회사의 이익과 사용자의 이익이 일치하는지 확인하십시오.

비록 이것은 하기 힘든 일이지만. 우리는 최종 사용자를 고려하여 장기적 KPI로 단기 이익을 가중해야 합니다.

사실 기업은 더 많은 수익, 고객 평생 가치 및 이윤을 창출하며 실험할 때 더 빨리 달성 합니다.

실험 주도형은 또한 가치를 기반으로 IT 리소스의 우선 순위를 가장 잘 지정하는 방법을 검증하는 데 많은 시간과 비용을 절약할 수 있습니다.

성공 메트릭에 비즈니스 및 사용자 관심사가 모두 포함되어 있는지 확인하기만 하면 됩니다. 그리고 우리는 우리 행동의 윤리적 의미를 연구하고 분석하기 위해 항상 노력해야 합니다.

비즈니스 지표로서의 윤리 및 사용자 관심의 미래

점점 더 많은 회사에서 윤리적인 질문을 하고 비즈니스 이익을 사용자 및 고객의 이익 및 행복과 일치시키는 것의 중요성을 인식하고 있습니다.

특히 윤리적인 A/B 테스트 및 비즈니스 성장 추진의 혼탁한 물 속에서는 결코 흑백이 아닙니다.

그리고 비윤리적인 전술이 아니라 궁극적으로 테스트의 대상이 되는 사람들을 위한 의도와 비용/편익 분석입니다.

사실, 우리는 먼저 대규모 데이터 세트와 함께 적절한 연구를 기반으로 하는 신뢰할 수 있는 데이터가 필요합니다.

다음 단계는 실험과 결과 분석이 정확하게 수행되었는지 확인하는 것입니다.

또한 최종 사용자를 고려하고 테스트가 사용자에게 좋은지 나쁜지에 대한 일부 메트릭을 기반으로 하면 세계에서 좋은 성과를 거두고 장기적으로 유지되는 비즈니스를 만드는 데 도움이 됩니다.

바로 작업할 수 있는 몇 가지 작업 항목으로 이 작업을 마무리하겠습니다. 테스트를 윤리적으로 수행하고 고객의 최선의 이익에 부합하도록 하기 위해 무엇을 할 수 있습니까? 다음은 더 나은 방향을 제시할 수 있는 몇 가지 사항입니다.

1. 이상적인 상황에서는 행동 심리학자가 연구를 통해 데이터의 상관 관계를 분석하고 식별하도록 합니다. 그러나 이것이 가능하지 않다면 데이터와 실험이 최종 사용자에게 미칠 수 있는 영향을 최대한 자세히 살펴보십시오. 이것이 표면적으로는 윤리적인 것처럼 보이지만 실제로는 해를 끼칠 수 있는 테스트를 포착하는 방법입니다.
2. 테스트를 시작하기 전에 스스로에게 윤리적인 질문을 하고 테스트에 문제가 있는 경우 팀원들이 이야기하도록 격려하십시오. 우리는 모두 인간이며 윤리적 감수성의 수준이 다릅니다. 따라서 한 사람에게는 선을 넘는 것이 다른 사람에게는 그렇지 않을 수 있습니다. 그렇기 때문에 공개 토론과 자유롭게 발언할 수 있는 환경이 핵심이 될 수 있습니다.
3. 추측과 의견은 지금까지 우리를 데려 갈 수 있습니다. /b 테스트의 결과와 윤리적 의미를 알 수 있는 유일한 방법은 실험을 실행하고 정확한 데이터를 수집하는 것입니다. 나이키의 말처럼 "Just do it."
4. 물론 우리는 사용자에게 테스트에 대한 어떤 식으로든 허가를 요청하거나 테스트에 대한 의견과 테스트에 의해 조작된 느낌이 드는지 물어볼 수도 있습니다. 그러나 사람들이 상업과 관련하여 윤리를 보는 방식은 국가마다 크게 다를 수 있음을 명심하십시오.
5. KPI를 보고 비즈니스 목표를 최종 사용자의 건강, 부, 행복과 어떻게 일치시킬 수 있는지 확인하십시오. '사이트에 머문 시간'은 플랫폼에서 수익을 창출하려는 미디어 회사에게 좋은 지표입니다. 그러나 '잘 보낸 시간'은 최종 사용자가 귀하의 브랜드에 대해 갖는 경험의 맥락에서 수익 창출을 보는 훨씬 더 나은 방법입니다. 행복하고 건강하며 장기적으로 귀하의 제품에서 가치를 창출하는 사용자는 항상 평생 가치를 높이고 해지를 줄입니다.

최종 사용자로서 우리는 항상 우리의 최선의 이익을 염두에 둔 비즈니스에 끌릴 것입니다. 책임과 투명성이 증가하는 현대 세계에서 번창하는 브랜드가 된 것은 바로 이러한 비즈니스입니다.

귀하의 비즈니스 메트릭에서 고객의 최대 이익을 어떻게 고려하고 있습니까? 그리고 그렇지 않다면 어떻게 그들이 앞으로 나아가고 있는지 확인할 수 있습니까?