摘要
YouTube所使用的推薦系統(tǒng)是現(xiàn)在最大規(guī)模的、最先進的業(yè)界的推薦系統(tǒng)之一。在這篇論文中，我們在較高層面上描述這個系統(tǒng)，并重點關(guān)注了深度學(xué)習(xí)所帶來的巨大的性能提升。本論文根據(jù)典型的兩階段信息檢索的二分法（two-stage information retrieval dichotomy）分為兩部分：首先，我們詳細描述了一種深度候選生成模型（deep candidate generation model），接著描述了一種分離的深度排名模型（deep ranking model）。通過設(shè)計、迭代、維護一個帶有巨量面向用戶的影響的巨型推薦系統(tǒng)，我們還提供了實用的經(jīng)驗教訓(xùn)和見解。
系統(tǒng)概述
我們的推薦系統(tǒng)的整體結(jié)構(gòu)如圖2所示。系統(tǒng)由兩個神經(jīng)網(wǎng)絡(luò)組成：一個用于候選生成，一個用于排名。其中候選生成網(wǎng)絡(luò)從用戶的YouTube活動歷史中提取事件作為輸入，然后從一個大的視頻庫中檢索出一個小數(shù)據(jù)集（上百個視頻）。這些候選被認為通常與用戶有很精準的相關(guān)性。這個候選生成網(wǎng)絡(luò)僅通過協(xié)同過濾（collaborative filtering）提供廣泛的個性化。用戶之間的相似性可以通過粗粒度特征（例如視頻觀看的ID、搜索查詢單詞以及人口特征統(tǒng)計）表達。
一個推薦列表中出現(xiàn)的一些「最好」的推薦需要一種良好的表征，以在具有高召回率（recall）的候選集中區(qū)分相對的重要性。排名網(wǎng)絡(luò)通過使用一個描述視頻與用戶的特征集合的期望目標函數(shù)來給每個視頻打分，從而完成排名的任務(wù)。根據(jù)它們的得分，然后將最高分的視頻展現(xiàn)給用戶。
兩階段的推薦方法允許我們從一個很大（數(shù)百萬）的語料庫中進行推薦，與此同時還仍有在設(shè)備上出現(xiàn)的少量視頻是個性化的吸引用戶的內(nèi)容。此外，這個設(shè)計能夠和其他源生成的候選進行混合，例如在這一項早期工作[3]中描述的。
在開發(fā)過程中，我們廣泛地使用了非網(wǎng)絡(luò)的指標（準確度、召回率、ranking loss）來引導(dǎo)我們的系統(tǒng)的迭代改進。然而，為了最終測定一個算法或模型的效果，我們依靠于通過實時實驗進行A/B測試。在一個實時實驗中，我們能度量在點擊率、觀看時間與許多度量用戶參與度的指標中不易察覺的變化。這是非常重要的，因為實時A/B測試結(jié)果不總是與離線實驗有相關(guān)性。
圖2：推薦系統(tǒng)架構(gòu)：候選視頻通過「漏斗」狀的流程從大量視頻中被檢索出來并進行排名，然后再將其中一小部分展示給用戶。
圖3：深度候選生成模型架構(gòu)：嵌入的稀疏特征是和稠密特征連結(jié)在一起的。在級聯(lián)（concatenation）將可變大小的稀疏ID轉(zhuǎn)換成適合隱藏層輸入的固定寬度的向量之前，嵌入被取了平均。所有隱藏層是全連接的。在訓(xùn)練中，使用取樣的softmax的輸出之上的梯度下降對交叉熵損失進行最小化。在服務(wù)中，用一個近似最近鄰（approximate nearest neighbor ）查詢生成數(shù)以百計的候選視頻推薦。
圖4：對于一個給定的視頻，模型用樣本年齡（example age）作為一個特征訓(xùn)練，能夠精準表達出數(shù)據(jù)中的上傳時間和依賴時間的受歡迎程度。如果沒有這一特征，該模型會在訓(xùn)練窗口近似地預(yù)測平均似然（ average likelihood）。
圖5：給模型選擇標簽和輸入上下文對離線評估來說很有挑戰(zhàn)性，但是對實時性能有巨大的影響。如圖，實心圓點?是網(wǎng)絡(luò)的輸入特征，空心圓點?是被去除的。我們發(fā)現(xiàn)在A/B測試上預(yù)測未來觀看（5b）的表現(xiàn)更好。如5b所示，樣本年齡表示為tmax ? tN，其中tmax是訓(xùn)練數(shù)據(jù)中的最大觀測時間。
圖6：描繪了嵌入的分類特征（包括一價特征和多價特征）