網站首頁編程語言正文

SGL：Self-supervised Graph Learning for Recommendation論文

作者：只想做個咸魚更新時間： 2022-09-22 編程語言

一、前言

1、背景

探索了在用戶-商品圖上的自監督學習，以提高GCNs推薦的準確性和魯棒性。該思想是用一個輔助的自監督任務來補充經典的推薦監督任務，通過自鑒別器來強化節點表示學習。具體來說，我們生成一個節點的多個視圖，最大化同一個結點不同視圖表示之間的相似性，最小化不同結點表示之間的相似性。我們設計了三個操作來生成視圖，分別是節點dropout、邊dropout和隨機游走，以不同的方式改變圖的結構。

傳統圖網絡例如PinSage，LightGCN。盡管基于GCN的方法取到了不錯的效果，但我們認為這些方法仍然受到了一些限制：

監督信號稀疏（數據稀疏）：目前大多數推薦學習任務都是基于監督學習的范式，其中監督信號一般指用戶和物品的交互數據。然而這些交互數據通常來說是異常稀疏的，不足以學習高質量的表征。
傾斜的數據分布（冪律分布）：推薦系統的交互數據通常呈現冪律分布，其中長尾部分low-degree的物品節點缺乏監督信號。然而，high-degree的物品節點在鄰居聚合和監督學習損失中占據了主導地位，對表征學習影響更大。因此，基于GCNs的方法傾斜于high-degree物品節點，犧牲了low-degree物品推薦的性能。
交互噪音：用戶提供的交互大多數是隱式的（clicks，views），而不是顯式的（ratings，likes，dislikes）。因此，收集到的交互通常包含噪聲，如用戶誤點擊了一個物品。而GCNs中的鄰居聚合操作則會加大這些交互噪音的影響，使得模型訓練更容易受到交互噪音的影響。

2、準備工作

這一部分很簡單，就是GCN的聚合操作，這里其實也是以lightGCN為根基在上面的改動

?過聚合鄰域節點的表示來更新自我節點的表示：

?這兩個公式就是一個意思，通過聚和鄰居節點，生成下一階的表示

下面這個是層結合生成最終的結點嵌入表示：（每一層嵌入的整合一起）

接下來就是內積預測得分：

?損失函數，使用BPR：

?二、SGL模型

定義自監督圖學習（Self-supervise Graph Learning, SGL）范式，作為監督學習任務的補充，下圖展示了SGL的流程，簡單來說，自監督學習任務從輸入數據之間的關聯構建監督信號。

在圖結構上設計了三個操作符：節點丟失、邊緣丟失和隨機行走，以創建不同的節點視圖。這些操作符同一表示如下：

?1、Node Dropout（ND）

圖中每個節點都可能以概率?ρ?被舍棄，連帶其連接的邊一起舍棄。

2、?Edge Dropout（ED）

圖中每條邊都可能以概率?ρ被舍棄。具體如下表示：

?3、Random Walk (RW)

上述兩個操作符生成的子圖在圖卷積的所有層中保持一致。為了探索higher capability，我們每層應用不同的子圖。這可以看做對于每個節點隨機游走的過程。這里做法為對每層單獨進行ED（不同的dropout rate 或 random seed），也就是說RW的掩碼矩陣是對層感知的：

?4、對比學習

在建立了節點的增強視圖后，我們將同一節點的視圖作為正對 $\left \{\left ( z_{u}^{?{'}} ,z_{u}^{?{''}} |u\in U\right ) \right \}$ ,將任意不同節點的視圖作為負對 $\left \{\left ( z_{u}^{?{'}} ,z_{v}^{?{''}} |u\in U\right ) \right \}$ ,正對的輔助監督促進了同一節點的不同視圖之間的一致性來進行預測，而負對的監督則加強了不同節點之間的差異。形式上，我們遵循SimCLR，并采用對比損失，InfoNCE，以最大化正對的一致性，并最小化負對的一致性：