C端產(chǎn)品的用戶體驗是決定用戶留存率和產(chǎn)品使用率的關(guān)鍵。為了提升用戶體驗，一些C端產(chǎn)品上線新功能前已經(jīng)開始引入A/B測試，判斷新功能帶來的用戶反饋。本文介紹剪映APP應(yīng)用A/B測試驗證新功能上線效果的案例，分享C端產(chǎn)品通過A/B實驗驗證產(chǎn)品新功能的實踐經(jīng)驗。
剪映APP是一款視頻編輯工具，提供剪輯功能，濾鏡、美顏效果，曲庫等資源。隨著用戶規(guī)模增加，剪映希望對產(chǎn)品素材庫進(jìn)行優(yōu)化，幫助視頻創(chuàng)作者更高效地找到適配視頻的貼紙素材，提升素材庫的分發(fā)效率。
圍繞上述目標(biāo)，剪映素材團(tuán)隊設(shè)計了貼紙素材分發(fā)的新模型，并提出幾個不同的策略方向。他們計劃通過A/B測試，驗證新策略的效果，驗證在引入“非個性化分發(fā)模型”后，用戶反饋是怎樣的。
剪映此次的A/B實驗將用戶分為3組，隨機(jī)分配到對照組V1、實驗組V2、實驗組V3中：
?對照組V1：不進(jìn)行任何干預(yù)，按原運(yùn)營人工配置貼紙內(nèi)容方案進(jìn)行。
?實驗組V2：引入非個性化分發(fā)模型，推薦貼紙內(nèi)容不打散，內(nèi)容日更新
?實驗組V3：引入非個性化分發(fā)模型，推薦貼紙內(nèi)容打散，內(nèi)容日更新
實驗組中貼紙內(nèi)容是否打散的含義是指類似主題的貼紙是否集中出現(xiàn)。“貼紙內(nèi)容不打散”，意味著同類主題貼紙將按順序集中出現(xiàn)，供用戶選擇；“貼紙內(nèi)容打散”，意味著同類主題貼紙在同一個位置時，每類僅出現(xiàn)1-2種。
一期A/B實驗的數(shù)據(jù)顯示，“非個性化分發(fā)模型”策略上線后，用戶在“非搜索使用”素材場景中的貼紙使用率、導(dǎo)出率均有顯著提升，產(chǎn)品大盤數(shù)據(jù)也呈正向顯著。這意味著新策略會提升用戶使用剪映素材的意愿。因此在實驗結(jié)束后，團(tuán)隊確定了產(chǎn)品的迭代方向，后續(xù)也會將對貼紙面板迭代的經(jīng)驗應(yīng)用到其他素材面板的迭代中。
A/B實驗在產(chǎn)品優(yōu)化的過程中起著舉足輕重的作用，在面對新功能上線或多策略擇優(yōu)的場景下，A/B實驗可以成為業(yè)務(wù)“大膽假設(shè)、小心實驗”的堅實后盾。像這樣的A/B實驗，截至2023年中，在字節(jié)跳動已經(jīng)開啟了240多萬次，每天都有4000多個新的實驗上線，在DataTester上同時運(yùn)行的實驗有5萬多個。
火山引擎DataTester作為火山引擎數(shù)智平臺VeDI旗下的核心產(chǎn)品，源于字節(jié)跳動長期的技術(shù)和業(yè)務(wù)沉淀。目前，DataTester已經(jīng)服務(wù)了包括美的、華泰證券、博西家電、樂刻健身等知名品牌在內(nèi)的上百家企業(yè)。這些企業(yè)通過不斷進(jìn)行的A/B測試和優(yōu)化迭代，提升產(chǎn)品與服務(wù)質(zhì)量，從而實現(xiàn)業(yè)務(wù)持續(xù)的優(yōu)化和增長。
本文轉(zhuǎn)載自：，不代表科技訊之立場。原文鏈接：http://zl.yisouyifa.com/html/240412/1236471376897364.html
