道德 A/B 測試指南：優化計劃中缺失的部分

早在 2014 年，Facebook 就受到了強烈反對，當時它透露它已將用戶分組到一項“情緒傳染”研究中，該研究通過向被選中的人顯示“樂觀”或“沮喪”的信息來公然操縱情緒。

整個崩潰中最令人不安的方面是，被實驗的人不知道他們被操縱的事實。

讓我們在這個想法中加上一個別針，然後問你：

答案可能是否定的。 畢竟，你不是在試圖操縱他們的情緒……是嗎？

事實是，營銷是影響情緒的藝術和科學。 A/B 測試就是如何隔離和量化這種影響。

讓人們對網站感到更安全，他們會購買更多。 如果該網站實際上是安全的，那麼您正在通過消除不必要的恐懼來增強用戶體驗。 如果網站沒有後端來證明信任信號的合理性，那麼這是公然操縱。

與任何有效的技術一樣，A/B 測試可以通過讓企業以對人們有所幫助的方式提供相關優惠來創造一個美好的世界。

或者，它可以通過欺騙、操縱，甚至通過以懶散的方式處理為實驗收集的數據來造成傷害，使其容易受到破壞。

什麼是道德優化以及您為什麼要關心？

A/B 測試將繼續存在，並且只會隨著人工智能的發展而變得更加強大。

如果您展望優化的未來，您會看到 AI 提出的假設對網站訪問者行為的影響比我們現在所能想像的要高一千倍。

數據是逐步構建這個未來的基石。

這就是著名的 GDPR（通用數據保護條例）如此重要並將繼續如此重要的原因。

這是對科技巨頭和企業的抨擊，他們將人們視為無非是在線資產的訪客。 儘管 GDPR 是一項法規，但奇怪的是，它通過迫使公司將人們視為可能抗議其數據被濫用的個人來使人們人性化。

更重要的是……GDPR 是其他舉措的先驅，例如 ePrivacy 指令和加州隱私權法案。

隨著 Netflix 和亞馬遜等品牌擴展他們的測試計劃，A/B 測試中的道德問題成為主流並獲得自己的一套準則只是時間問題。

如果您計劃在每項新法規出台時都遵守它，您將扼殺您的業務創新，並且將逃避地雷。

更好的方法是將道德 A/B 測試嵌入您的公司，並使其成為您組織文化的一部分。

簡而言之，你變得透明和負責。

在您的日常業務實踐中涉及任何法規（過去、現在或未來）的情況下，您都會合規。

在本指南中，我們將分解您可以採取的步驟，以盡量減少測試期間的數據隱私麻煩，以及在進行透明、合乎道德的 A/B 測試時要牢記的注意事項。

GDPR、CCPA 2.0 及其他：他們如何改變 A/B 測試和分析

歐洲對數據濫用的反應是數據保護法，即 GDPR（通用數據保護條例），它迫使任何處理數據的公司加倍努力以保護其客戶的數據。

美國的反應是 CCPA（加利福尼亞州消費者隱私法）、內華達州 SB 220 以及最近的 2023 年加利福尼亞州隱私權法。

這些法律的目的本質上是關於兩件事，個人數據的合乎道德的使用和保護個人數據的安全。

這迫使來自世界各地的公司開始加強他們的數據安全和隱私。

通過這些隱私法，歐盟和美國還引入了一項新的法律要求：設計隱私。

在其核心，設計隱私要求從系統設計開始就包含數據保護，而不是添加。

此外，同意的條件得到了加強，公司不再能夠使用充滿法律術語的冗長、難以辨認的條款和條件。

這些法律引入了數據可移植性——數據主體接收與他們有關的個人數據的權利——他們以前以“常用和機器可讀的格式”提供這些數據，並有權將該數據傳輸給另一個控制者。

但是，適應上述變化不應出於對後果的恐懼。

相反，公司和營銷人員應該考慮他們的價值觀對業務實踐領域的支持程度，以及可能導致他們的系統和程序面臨挑戰的場景。 這可能來自個人測試訪問者，他們的數據應該被移動或刪除，或者黑客試圖非法獲取個人數據。 它還可能附帶數據主體訪問請求 (DSAR)。

無論對個人數據提出什麼要求，營銷人員都應該了解、理解並致力於適當的行為和價值觀。

它將允許做出選擇以保護個人和公司。

這就是道德 A/B 測試如此重要的原因：它影響價值觀在組織內的溝通方式、領導力如何展示價值觀，以及價值觀如何體現在日常工作關係中。

GDPR 不合規的成本：喚醒數字

以下是自 GDPR 實施以來大小品牌所遭受的罰款清單。 就企業不得不掏出的巨額資金而言，這是一個可怕的彙編。

但更可怕的是違規的原因。

他們公然無視用戶/客戶的隱私，並驅使人們需要在組織範圍內採用道德商業文化。

這些例子都不能直接追溯到 A/B 測試。 但是，導致這些違規和罰款的許多心態也普遍存在於公司的優化中。

是時候醒來並改變它了。

如何開始進行道德 A/B 測試：要牢記的 10 個可靠注意事項

在涉及人類參與者的任何類型的研究中，考慮研究項目的倫理是很重要的。

當您進行 A/B 測試時也是如此。 您對參與者的福祉、誠實地代表他們以及保護他們的個人信息安全負責。

在這裡，我們將討論道德 A/B 測試的一些最重要的考慮因素。

涉及個人數據處理的 A/B 測試必須提供有關數據保護規定的信息。 如果您的測試涉及以下內容，則更有可能引發更高的道德風險：

• 處理“特殊類別”的個人數據（以前稱為“敏感數據”）；
• 處理有關兒童、弱勢群體或未同意參加測試的人的個人數據；
• 複雜的處理操作和/或大規模處理個人數據和/或大規模系統監控可公開訪問的區域；
• 具有侵入性並被認為對被測訪問者的權利和自由構成風險的數據處理技術，或容易被濫用的技術；
• 在歐盟以外收集數據或將在歐盟收集的個人數據傳輸到非歐盟國家的實體。

考慮#1：測試，而不是欺騙

必須區分傳統的 A/B 測試和另一種實驗形式，其中算法結果為一小部分用戶修改以用於假定的研究目的。

Ding..ding... Facebook 2014 有人嗎？

在 A/B 測試中，界面設計特徵——例如按鈕的排列、佈局或解釋性文本——被阻止或重新排列以測試它們的效果。 許多在線公司定期對其用戶進行 A/B 測試，以評估網站設計更改的影響。

然而，當網站算法的編程代碼被改變以誘導欺騙並操縱結果時，就會出現一種新的實驗形式。

這是一種深度測試，我們稱之為代碼/欺騙或 C/D 實驗，以區別於與 A/B 測試相關的表面測試。

C/D 實驗應與在線公司為改進其算法以用於運營目的的持續努力區分開來。

這種優化案例不涉及欺騙，因為目標是為所有用戶產生更好（更準確）的結果。 相比之下，在 C/D 實驗中，算法的結果被更改（即扭曲或偽造）以用於研究目的。

考慮#2：關注用戶的最大利益

正如 Croco 團隊的 Isaac Wardle 所解釋的，您的目標應該是使公司和用戶的利益保持一致。

理想情況下，行為科學家必須詢問他們的合作公司他們的意圖是什麼，以及他們的意圖如何與他們一起工作的人（通常是員工或客戶）的意圖保持一致。

當意圖不一致時，研究人員和公司需要更加關注行為洞察力的使用方式和目的。

以下是每次測試上線前要問的問題列表：

1. 我們希望從測試中獲得哪些 KPI 改進？
2. 我們希望通過測試引起什麼樣的感知變化？
3. 這種觀念轉變合理嗎？ （回想一下後端無法支持的具有信任信號的站點示例）。
4. 誘導這種感知是否會使被測試的訪客面臨任何形式的身體、心理或財務風險？
5. A/B 測試值得花錢嗎？ 如果這種方法有風險並且有可能出現問題，請考慮一下商譽、機會和客戶的損失。

考慮#3：透明度和誠實

您應該向您的測試訪問者誠實地告知您 A/B 測試的目的、您為誰做的以及您將如何使用結果。

這樣，參與者可以給予他們的知情同意，並且如果他們以後遇到您的結果也不會感到驚訝。

但是，在某些情況下，您可能無法立即告訴被測試的訪問者所有內容。 有時，了解您正在進行的實驗可能會影響他們的反應。

他們可能喜歡或不喜歡您的品牌，或者他們對您的產品或服務的體驗會影響他們對它的期望。

其他時候，了解您的實驗目的將影響訪問者如何操作或瀏覽您的網站，因為他們會希望為您提供他們認為您正在尋找的結果。 從他們的角度來看這是一個很好的姿態，但如果你的實驗是為涉及用戶的現實世界的努力提供堅實的基礎，那肯定不是你想要的。

考慮#4：保持偏見

當您分析您的測試或展示您的結果時，請始終誠實地代表您的測試訪問者所說和所做的。

當我們構建假設時，我們通常對我們認為結果會是什麼樣子或我們希望結果是什麼樣子有先入為主的觀念。

重要的是不要搜索您希望測試訪問者做什麼的示例。 這是主觀的和誤導性的，就像在現實發生之前對現實做出反應。 畢竟，你不能在他們的環境中編排真實的人。 您必須改為監視它們。

保持開放並傾聽被測試的訪問者在說什麼和做什麼。 這聽起來很明顯，但在實踐中可能很困難，因為營銷人員也是人。

在傳達您的結果時，請明確您的結果所依據的參數。 確保您計算有多少受測試的訪問者說過或做過與您的新設計想法完全吻合的有趣事情。

是全部，大多數，只有少數，還是只有一個？

在 A/B 測試結果中插入偏見不僅會花費商業資金（當未達到預期結果時），還會導致部署不會增強訪問者體驗的變體，並且在許多情況下可能會給他們帶來創傷，尤其是如果涉及金融交易並且用戶體驗特別不愉快。

考慮 #5：如果涉及 PII，請獲得同意和許可

確保您獲得每個測試訪問者的知情同意（如果您使用可以識別他們的個人信息）以口頭或書面形式參與您的 A/B 實驗。 知情同意要求您的參與者清楚地了解您正在做什麼以及您將使用實驗做什麼。

大多數受試者可能不會費心閱讀這些信息，他們只會盡快點擊進入網站。

如果受試者確實閱讀了這項研究，請盡量不要提供可能影響他們的信息。 假設我們正在評估不同深淺的藍色的影響。 閱讀它幾乎肯定會改變他們在訪問網站時對顏色的反應，從而使研究結果產生偏差。

因此，如果您打算存儲個人信息，請務必徵得同意，但請嘗試以中立的方式進行。

考慮#6：添加簡單的退出

在 Facebook 臭名昭著的“社會傳染”實驗中，新聞提要被操縱的人沒有得到任何事先通知，他們也無法選擇退出在該網站上進行的任何研究活動。 這是非常有問題的。

必須允許用戶輕鬆退出 A/B 測試。

考慮#7：承認數據點是人（並且隱藏的傷害是真實的）

負責任和合乎道德的 A/B 測試的最基本規則之一是堅定地承認大多數數據代表或影響人們。

從所有數據都是人的假設開始，直到被證明否則將把數據與人類受試者分離的任務走上正軌。

儘管很明顯，您永遠不應該做任何可能對您的測試訪問者有害的事情，但這種傷害與隱藏的、間接的傷害之間是有區別的，後者可以將醜陋的頭顱抬得更遠。

如果您不仔細考慮如何與測試的訪問者互動以及如何處理他們的數據，您可能會無意中造成傷害。 風險不能超過他們從您的結果中獲得的任何好處。

行為心理學家和 A/B 測試專家 Bart Schutz 解開了隱藏傷害的概念：

如果在女性心目中旅館或酒店的清潔度與安全性相關聯，那麼強調高犯罪率地區住宿清潔度的測試實際上會促使女性預訂乾淨但不安全的地方。

考慮 #8：防止重新識別您的數據

當被認為是匿名的數據集與其他變量結合時，可能會導致意外的重新識別，就像添加最終成分導致的化學反應一樣。

雖然出生日期、性別和郵政編碼的識別能力是眾所周知的，但還有一些其他參數——尤其是與數字活動相關的元數據——對於識別個人可能同樣有用，甚至更有用。 IP、地理位置、客戶 ID 和標籤、時區、交易 ID、時間戳可用於重新識別人員。

因此，在您的測試數據中識別可能的重新識別向量。 盡可能在您發布的結果中盡量減少它們。

利用假名化和匿名化

減輕因使用個人數據而引起的道德問題的最佳方法之一是將其匿名化，使其不再與可識別的人相關。

不再與可識別的人相關的數據，例如聚合和統計數據，或以其他方式呈現匿名的數據（因此無法重新識別主體），不是個人數據，因此不在數據保護法的範圍內。

但是，即使您計劃僅使用匿名數據集，您的 A/B 測試仍可能引發重大的道德問題。

這些可能與數據的來源或獲取方式有關。 因此，您必須指定您打算在測試中使用的數據集的來源，並解決出現的任何道德問題。

您還必須考慮濫用方法或調查結果的可能性，以及對數據相關的群體或社區造成傷害的風險。

如果有必要保留被測試訪問者與其個人數據之間的鏈接，您應該盡可能對數據進行假名化，以保護受試者的隱私，並在未經授權的訪問時將其基本權利的風險降至最低。

注意事項 #9：不要在 A/B 測試中針對兒童

所有涉及兒童和青少年的 A/B 測試都會引發重大的倫理問題，因為受試者可能不太了解他們參與的風險和後果。 這也適用於處理他們的個人數據。

最重要的是，孩子是易受影響的，對他們進行測試所產生的任何隱藏傷害都可能成倍增加和根深蒂固。

如果您的測試涉及從兒童那裡收集數據，您必須遵守 GDPR 關於知情同意的說明，特別是關於獲得父母/法定代表同意以及在適當情況下獲得兒童同意的規定。

正如該指南明確指出的那樣，您向孩子提供的任何信息都必須採用適合他們年齡且易於理解的簡單語言。 您還必須應用設計保護原則來測試有關兒童的數據，並儘量減少對其數據的收集和處理。

GDPR 為兒童建立了有關“信息社會服務”的特殊保護措施，這是一個涵蓋所有互聯網服務提供商的廣義術語，包括社交媒體平台。 其中包括在直接向 16 歲以下兒童提供的信息社會服務方面要求獲得父母的核實同意。

如果您從兒童那裡收集數據，您必須確保遵守國家和歐盟/美國法律保障措施，並在您的隱私政策中說明您將如何獲得和驗證父母/法定代表的同意。

考慮 #10：遠離偽裝

Google 是否允許進行 A/B 測試？

我會因為偽裝而在 Google 搜索結果中受到懲罰嗎？

Google 建議，如果他們在您的網站上檢測到偽裝，您可能會完全從 Google 索引中刪除。

那麼隱身是什麼意思呢？ 簡而言之，您向搜索引擎機器人和人類顯示不同的內容，以操縱您的搜索引擎排名。

大多數偽裝腳本識別用戶代理（人類或搜索引擎機器人）的 IP，並根據搜索引擎機器人的預定義 IP 列表猜測訪問者是搜索引擎還是人類。

其他腳本使用“陷阱”來識別機器人。 根據誰在訪問您的網站，您可以設置您的網絡服務器以將棘手的內容提供給搜索引擎，並將好看的內容提供給人類。

一些偽裝的例子包括：

• 向搜索引擎提供 HTML 文本頁面，同時向用戶顯示圖像或 Flash 頁面
• 僅當請求頁面的用戶代理是搜索引擎而不是人類訪問者時，才將文本或關鍵字插入頁面

有一些簡單的方法可以避免因偽裝而被罰款：

• 不要在 Googlebot User-Agent 上區分
• 使用 rel="canonical"
• 使用 302 進行重定向
• 只在“必要時”運行實驗。

讓道德 A/B 測試更容易：使用了解數據隱私的工具

沒有 A/B 測試解決方案可以為您爭辯測試的道德製高點。

但是，您可以將謹慎處理數據的責任以及讓您處於合規測試實踐的正確位置的責任委託給正確的工具。

以下是您應該在註重隱私的工具中尋找的 7 個必備功能：

功能 #1：數據匿名化——無需同意即可進行測試

GDPR 中的一個重要原則是數據最小化。

這意味著在個人數據的背景下，產品和服務提供商應僅收集、存儲和處理充分、相關且僅限於其業務案例的內容。

對於應該收集哪些個人數據以及不應該收集哪些個人數據，沒有明確的定義。 它完全基於特定的用例。

為了實踐數據最小化原則，我們在跟踪中匿名訪問者的 ID，將數百名網站訪問者分組到僅計算訪問者存在的訪問者組中。

個人訪客不會存儲在轉換體驗中。 無法以任何方式將組計數與單個訪問者聯繫起來。

GDPR 讓我們能夠仔細研究我們在 Convert 中存儲的內容，以及將其保存在日益以隱私為中心的環境中的用例。

功能 #2：方便的 GDPR 警告

轉換體驗等工具引入了警告，以告知客戶其項目或實驗中使用的 GDPR 相關設置或選項：

• 傳統上，Convert Experiences 允許按位置和行為等條件對站點訪問者進行分組。 這些組稱為自定義細分。 但是，在 GDPR 之後，如果啟用了分段功能，歐洲的隱私當局可以將其解釋為識別數據主體的一種方式。 為了通知用戶，我們插入了明顯的警告，如果為至少一個受眾啟用了分段，則會激活該警告。

• 使用個人數據構建的受眾：如果使用 cookie 或 JavaScript 條件構建受眾，或者如果已使用時區、城市、地區、客戶 ID 或客戶標籤，則已保存的受眾和體驗摘要頁面中存在 GDPR 警告

• 跨域跟踪：默認情況下，Convert Experiences 中的所有項目都關閉跨域 cookie。 打開它會激活另一個警告：

• 個性化體驗可能包含小部分（少於 100 位唯一訪問者），隱私權機構可能會將其解釋為數據主體的標識。 出於這個原因，我們在任何個性化體驗的摘要中添加了警告。

這些警告的目的是確保我們的用戶了解哪些功能可能被歐盟當局視為數據主體的潛在“識別”。

很難記住 GDPR 指令的要點！

通過使用“轉換體驗”，您可以使用一種可以做很多事情的工具，但也可以通過提醒您某些行為現在在歐盟國家/地區以不同方式解釋來強調其潛力。

您可以關閉 GDPR 警告。

功能 #3：使用更改歷史記錄跟踪用戶操作

有多個人合作進行您的測試嗎？ 您必須注意 A/B 測試中引入的意外更改。

在這方面，變更日誌至關重要。 轉換體驗之類的工具會記錄可以在項目中進行的大多數操作； 例如，創建實驗、修改變體、添加和刪除受眾等等。 更改歷史記錄顯示每個項目的用戶活動記錄。

如果某個實驗的行為似乎異常或停止正常工作，您可以通過檢查更改歷史記錄來查看進行了哪些更改、何時進行了更改以及由誰進行了故障排除。

這種詳細的更改歷史記錄創建了一個活動跟踪，為具有多個協作者的個人和團隊提供額外的安全性。

功能 #4：兩因素身份驗證

雙因素身份驗證 (2FA) 通過在登錄時添加第二級身份驗證來提高測試工具的安全性。啟用雙因素身份驗證後，您將需要輸入您訪問的代碼，而不是僅依賴密碼從您的移動設備。 這樣您就可以高枕無憂了，即使您的密碼被洩露，您的帳戶也會受到保護。

我們還在 Convert Experiences 中構建了一個安全的單點登錄系統 (SSO)，以提高安全性和易用性。

功能 #5：尊重用戶設置（退出和 DNT）

您的 A/B 測試工具應提供允許將訪問者排除在外的退出功能。

每個 Convert 客戶都需要在其網站上提供此選擇退出表格，以賦予其網站訪問者反對此統計研究的權利。

您的軟件還應該識別Do Not Track (DNT) ，因為我們認為有一種簡單的方法來控制最終用戶信息的使用方式非常重要。

Convert Experiences 將 DNT 視為您和您的最終用戶希望我們如何使用數據的信號。

Convert 將如何支持該字段的技術實現可以用 DNT 的三個可能值來解釋：

1. 不跟踪（選擇退出跟踪）
2. 跟踪（選擇跟踪）
3. 空 - 無偏好

默認情況下，Web 瀏覽器使用 null 值（無偏好），表示最終用戶尚未表達他們是否希望被跟踪的願望。

自 2018 年以來，當在瀏覽器中設置選項 #1，不跟踪（選擇退出跟踪）時，Convert 不會加載腳本/實驗，並使用其他兩個選項加載它們。

尤其是使用最新的瀏覽器設置（帶有 ITP 2.2 的 Apple Safari 和帶有 ETP 的 Mozilla Firefox），顯然應該尊重測試訪問者在瀏覽您的網站時使用的 DNT、選擇退出和其他瀏覽器設置。

功能 #6：透明的統計引擎

A/B 測試是一種基於統計方法和分析的技術。 也就是說，您無需成為統計學家即可理解所涉及的概念或您最喜歡的 A/B 測試框架給您的結果。

但是，了解用於計算圍繞測試的統計數據和指標的數學方程式並了解結果對您意味著什麼以及它們如何潛在地影響您的測試訪問者是很好的。

Convert 公司對我們用於計算統計置信度和獲勝變化的算法非常透明。 您可以在此處找到更多詳細信息。

我們使用 0.05 統計顯著性水平（95% 置信度）的 2 尾 Z 檢驗（即每個尾為 0.025，正態對稱分佈），可選擇在 95%-99% 之間進行更改。

功能 #7：道德工具與道德合作夥伴

僅使用來自道德供應商的合規測試工具是不夠的。 我們生活在一個相互關聯的世界中，沒有一家 SaaS 公司是孤立的。

選擇一個建立了有意識的合作夥伴生態系統的解決方案。

在 Convert，我們有一組問題用於與任何新的第三方供應商合作：

1. 您的數據和應用程序存儲在哪裡？
2. 這些數據是否曾經移出歐洲經濟區？
3. 您是否曾經在歐盟以外的數據中心之間傳輸數據？
4. 當我的數據被傳輸時，您是否總是通知我？
5. 您有數據保護官嗎？
6. 您有哪些數據控制和風險管理流程？
7. 您如何管理平台上的版本發布流程以確保足夠的數據保護水平？
8. 誰可以訪問我的數據，在什麼情況下，他們可以看到什麼？ 是否跟踪此訪問？
9. 我可以審核你們在保護數據方面的安全和技術措施嗎？
10. 您是否制定了安全漏洞通知流程？
11. 你符合 GDPR 嗎？