更新時間:2020-09-14 來源:黑馬程序員 瀏覽量:
對于一家品牌電商,連接著供應(yīng)商和用戶,改善供應(yīng)鏈的同時給用戶提供高品質(zhì)、高質(zhì)量、無大牌溢價的商品。營銷側(cè)業(yè)務(wù)場景是在線電商的重中之重,面臨的場景挑戰(zhàn)包括:
·如何優(yōu)化流量分配?
·如何增加 GMV?
·如何提升用戶購物體驗(yàn)?
互聯(lián)網(wǎng)人口紅利消失殆盡,在存量爭奪用戶時間的戰(zhàn)場上,必須高效充分利用每份流量。使用個性化算法是各家必用技術(shù),在電商的營銷場景提升效果明顯,點(diǎn)擊率預(yù)估提升一小步,流水增益一大步。該目前主要采用深度模型應(yīng)用在搜索、推薦、廣告等場景,具體算法方向有DeepCTR、Embedding、NLP 等。
在轉(zhuǎn)向深度學(xué)習(xí)的這兩年,該方案個性化場景的用戶體驗(yàn)、指標(biāo)數(shù)據(jù)都有較大提升(產(chǎn)品形式、系統(tǒng)能力、算法效果都在持續(xù)優(yōu)化中)。個性化場景最重要的兩個階段是召回和排序,接下來會從這兩方面切入分享一些實(shí)踐經(jīng)驗(yàn)和思路總結(jié)。
能力統(tǒng)一召回體系
這里的召回更準(zhǔn)確定義是召回 + 粗排。召回的目的是快速縮小范圍,減輕精排的壓力。當(dāng)下的挑戰(zhàn)不在數(shù)據(jù)規(guī)模和系統(tǒng)壓力,我們設(shè)計(jì)系統(tǒng)最看重的是復(fù)用性、維護(hù)性和擴(kuò)展性。因此考慮對召回能力做大統(tǒng)一,涉及搜索、推薦、廣告、客服多個業(yè)務(wù)場景。
召回抽象
對召回來說,輸入輸出都是信息,只是信息的類別可能不同,同時必須定義信息間關(guān)系度量:$ score = f (InputData,OutputData) 。召回階段對時延比較敏感,不能選用太過復(fù)雜關(guān)系度量算法。對于多個場景,信息可以抽象為:
·搜索(輸入查詢詞,輸出商品列表、專題內(nèi)容列表)
·推薦(輸入用戶,輸出商品列表)
·廣告(輸入用戶,輸出素材列表)
·客服(輸入問題,輸出答案列表、相似問題列表)
信息載體包括文本和向量,兩端信息載體相同的情況下才能計(jì)算關(guān)系度量值。 顯而易見查詢詞、商品、問題 / 答案、專題內(nèi)容天然包含文本信息,而使用向量必須依靠模型做目標(biāo)的向量化表征。
類似 Airbnb[1] Sequence Embedding 思路,我們基于實(shí)現(xiàn)商品向量化表征,同時引入Batch內(nèi) pairwise loss 和 side info 進(jìn)一步提升模型的性能和效果?;谏唐废蛄靠梢躁P(guān)聯(lián)表征用戶、查詢詞、專題。問題 / 答案的向量化參考 sentence embedding 技術(shù),由專門的 NLP 同學(xué)負(fù)責(zé)。
召回能力
如果信息是文本或向量,召回能力需要支持:
·文字相關(guān)性
依靠 ElasticSearch 索引,BM25 算法度量相關(guān)性。
·語義相似性
Pre-train 和 fine-tuning 的 BERT 模型推斷相關(guān)性。
·向量最近鄰
近似最近鄰搜索(Approximate Nearest Neighbor),余弦距離計(jì)算相關(guān)性。
作為通用召回體系必須保證低延時、高可用,具體做系統(tǒng)架構(gòu)時我們將三種能力都用索引來支撐。文字相關(guān)性本來就是索引提供的能力;向量最近鄰基于 LSH(Locality-sensitive hashing)投影后再建索引,獲取索引正排數(shù)據(jù)(原始向量)計(jì)算匹配得分,實(shí)現(xiàn)向量的在線查詢能力。非 GPU 環(huán)境下 BERT 模型比較耗時,可將熱門查詢詞和高頻問題(二八定律)做離線推斷,結(jié)果得分 T+1 同步到索引。
至此三種能力都整合在索引體系下,召回場景可以并行使用。舉個例子: 搜索場景:輸入查詢詞同時使用文字相關(guān)性,語義相似性(Query 和 ItemTitle 形成 setence pair),向量最近鄰召回商品(QueryVector 到 ItemVector)。這樣商品總量偏小,擴(kuò)展召回能力希望用戶能看到更多關(guān)聯(lián)商品。
推薦場景:輸入推薦模塊商品池條件和用戶向量,使用文字相關(guān)性(多路召回的商品過濾條件,是通用的索引條件查詢),向量最近鄰 (UserVector 到 ItemVector) 召回商品。
各顯神通精排服務(wù)
精排場景沒有考慮對能力做抽象統(tǒng)一,每個模塊核心訴求點(diǎn)會不同(有些戰(zhàn)略導(dǎo)向的場景可能只考慮曝光點(diǎn)擊量)。核心指標(biāo)上綜合考量曝光轉(zhuǎn)化率(CTR*CVR)、UV 價值、總體 GMV,這些都是算法需要全局優(yōu)化的目標(biāo),同時綜合業(yè)務(wù)方的人工策略,呈現(xiàn)給用戶最終的商品瀏覽效果。小伙伴可以充分發(fā)揮聰明才智,自由選擇特征和模型結(jié)構(gòu),以線上 AB Test 數(shù)據(jù)評估價值。我們的精排模型探索往大的說分為兩方面:追求精度效果的復(fù)雜深度模型和實(shí)時感知用戶偏好的在線模型,下文做詳細(xì)介紹。
復(fù)雜模型
使用深度模型做 DeepCTR 預(yù)估,主體思路是 Embedding&MLP,對模型做該方案嚴(yán)選場景的適配調(diào)整。我們首個深度模型是 WDL[2],Wide Part 依靠先驗(yàn)知識構(gòu)建特征,挑選高覆蓋、高價值屬性兩兩交叉構(gòu)建特征。Deep Part 依靠深度網(wǎng)絡(luò)實(shí)現(xiàn)特征組合,對商品 Id、類目 Id、屬性 Id Embedding,但不直接對用戶 Id Embedding,而是基于用戶和商品的行為序列表征用戶,引入注意力模塊[3] 計(jì)算用戶向量。
后續(xù)在定制 WDL 之上加入 CTR、CVR 的多任務(wù)學(xué)習(xí)[4],共享 Embedding 層權(quán)重,構(gòu)建 CTCVR LOSS,實(shí)現(xiàn)曝光階段的 CVR 預(yù)估。
在線模型
業(yè)界已經(jīng)形成共識數(shù)據(jù)新鮮度能進(jìn)一步提升模型效果。為實(shí)時感知用戶偏好,一般使用實(shí)時特征傳入深度模型,但存在兩個問題:
·實(shí)時特征在線計(jì)算用于推斷,數(shù)據(jù)清理用于訓(xùn)練;特征調(diào)整的維護(hù)成本和計(jì)算量比較大。
·實(shí)時特征線上計(jì)算有不可靠性,擾動模型效果。
我們選擇實(shí)現(xiàn)成本較低的方案:T+1 復(fù)雜模型的基礎(chǔ)上挑選 TopK 應(yīng)用實(shí)時重排序,在風(fēng)險可控的前提下嘗試激進(jìn)實(shí)時算法。基于用戶和商品交互數(shù)據(jù)計(jì)算用戶多類目的實(shí)時興趣向量(用戶向量表征參考上文召回說明),在不同的場景按需使用。如在搜索推薦,使用當(dāng)前上下文信息激活多維度用戶實(shí)時向量,計(jì)算向量距離重排序商品列表達(dá)到類似實(shí)時模型的效果。系統(tǒng)工程上收益一個是用戶和商品交互數(shù)據(jù)是基礎(chǔ)統(tǒng)計(jì),沒有額外特征維護(hù)成本,另一個使用向量有更好泛化性和數(shù)據(jù)容錯性。該方案嚴(yán)選場景驗(yàn)證效果有明顯的提升。
結(jié)語
近幾年深度學(xué)習(xí)領(lǐng)域的技術(shù)革新非常快,新模型新思路層出不窮,不由感嘆 “終身學(xué)習(xí)” 的知行合一頗為不易。營銷端個性化有豐富的深度學(xué)習(xí)應(yīng)用場景,從點(diǎn)擊率預(yù)估、語義匹配、向量化到素材合成、文案生成、人群畫像,我們一直在擴(kuò)充算法的能力邊界。
參考文獻(xiàn)
[1] Real-time Personalization using Embeddings for Search Ranking at Airbnb
[2] Wide & Deep Learning for Recommender Systems
[3] Deep Interest Network for Click-Through Rate Prediction
[4] Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate
猜你喜歡: