基於物品的推薦算法python,購物推薦算法

本文目錄一覽:

猜你喜歡是如何猜的——常見推薦算法介紹

自從頭條系的產品今日頭條和抖音火了之後,個性化推薦就進入了大眾的視野,如果我們說搜索時人找信息的話,那麼推薦就是信息找人。搜索是通過用戶主動輸入索引信息告訴機器自己想要的東西,那麼推薦的這個索引是什麼才能讓信息找到人呢?

第一類索引是「你的歷史」,即基於你以前在平台上對某物品產生的行為(點贊,轉發,評論或者收藏),尋找與你產生過相似行為的用戶所喜歡的其他物品或者與你喜歡的物品相似的其他物品來為你推薦。這一基於用戶行為相似的算法有:協同過濾算法、基於內容的推薦算法和基於標籤的推薦算法。

基於用戶的協同過濾算法是尋找與A用戶有相似行為的所有B用戶所喜歡的而A用戶還不知道的物品推薦給A用戶 。該算法包括兩個步驟:

-根據用戶所喜歡的物品計算用戶間相似度,找到與目標用戶相似的用戶集合;

-找到該用戶集合所喜歡的而目標用戶所不知道的物品。

那麼,找出一批物品以後哪個先推薦哪個後推薦?用戶間相似程度大的先推薦,用戶對物品的感興趣程度大要先推薦。即假設A用戶與B用戶的相似程度為0.9,與C用戶的相似程度為0.7,用戶B喜歡物品a和物品b的程度分別為1和2,用戶C喜歡物品a和物品b的程度分別為0.1和0.5,那麼先推薦物品b。多個用戶多個物品,只要擬定了用戶間的相似度和用戶對物品的感興趣程度,即可對物品進行打分並且進行綜合排序。

基於物品的協同過濾算法是根據用戶行為而不是物品本身的相似度來判斷物品的相似度 ,即如果物品A和物品B被很多的用戶同時喜歡,那麼我們就認為物品A和物品B是相似的。該算法也是包括兩個步驟:

-根據用戶行為計算物品間的相似度;

-根據物品的相似度和用戶的歷史行為給用戶生成推薦列表。

與UserCF相似的是,同樣會遇到推薦的先後順序問題,那麼ItemCF所遵循的原則是:物品間相似程度大的先推薦,用戶對物品的感興趣程度大要先推薦。假設用戶對物品a和物品b感興趣的程度分別為1和0.5,物品a與物品c和物品d的相似度分別為0.5和0.1,物品b與物品c和物品d的相似度分別為0.3和0.4,那麼先推薦物品d。用戶喜歡多個物品,並且多個物品與其他物品都有相似的情況下,只要擬定了用物品間的相似度和用戶對物品的感興趣程度,即可對物品進行打分並且進行綜合排序。

協同過濾算法的核心都是通過用戶行為來計算相似度,User-CF是通過用戶行為來計算用戶間的相似度,Item-CF是通過用戶行為來計算物品間的相似度。

推薦算法很重要的一個原理是為用戶推薦與用戶喜歡的物品相似的用戶又不知道的物品。物品的協同過濾算法是通過用戶行為來衡量物品間的相似(喜歡物品A的用戶中,同時喜歡物品B的用戶比例越高,物品A與物品B的相似程度越高),而基於內容的推薦算法衡量則是通過物品本身的內容相似度來衡量物品間的相似。

假如,你看了東野圭吾的《解憂雜貨店》,那麼下次系統會給你推薦東野圭吾的《白夜行》。假設你看了小李子的《泰坦尼克號》,系統再給你推薦小李子的《荒野獵人》。

該算法與前兩種不同的是,將用戶和物品之間使用「標籤」進行聯繫,讓用戶對喜歡的物品做記號(標籤),將同樣具有這些記號(標籤)的其他物品認為很大程度是相似的並推薦給用戶。其基本步驟如下:

統計用戶最常用的標籤

對於每個標籤,統計最常被打過這個標籤次數最多的物品

將具有這些標籤最熱門的物品推薦給該用戶

目前,國內APP中,豆瓣就是使用基於標籤的推薦算法做個性化的推薦。

第二類索引是「你的朋友」,基於你的社交好友來進行推薦,即基於社交網絡的推薦。例如,微信看一看中的功能「朋友在看」就是最簡單的基於社交網絡的推薦,只要用戶點擊公眾號文章的「在看」,就會出現在其好友的「朋友在看」的列表中。

複雜一點的算法會考慮用戶之間的熟悉程度和興趣的相似度來進行推薦。目前,在信息流推薦領域,基於社交網絡進行推薦的最流行的算法是Facebook的EdgeRank算法,即為用戶推薦其好友最近產生過重要行為(評論點贊轉發收藏)的信息。

第三類索引是「你所處的環境」,基於你所處的時間、地點等上下文信息進行推薦。例如,我們看到很APP中的「最近最熱門」,就是基於時間上下文的非個性化推薦;以及,美團和餓了么這些基於位置提供服務的APP中,「附近商家」這一功能就是基於用戶位置進行推薦。高德地圖在為用戶推薦駕駛路線時,會考慮不同路線的擁堵程度、紅綠燈數量等計算路線用和路程距離再進行綜合排序推薦。

很多時候,基於時間上下文的推薦會協同過濾這類個性化推薦算法結合使用。例如,在使用協同過濾推薦策略的時候,會將時間作為其中一個因素考慮進入推薦策略中,最近的信息先推薦。

以上就是常見的推薦算法。作為產品人,我們不需要知道如何實現,但是我們必須知道這些推薦算法的原理,知道在什麼場景下如何去做推薦才能提升推薦的效率,這才是產品經理的價值所在。

參考資料:《推薦算法實戰》項亮

常見的推薦算法

根據用戶興趣和行為,向用戶推薦所需要的信息,幫助用戶在海量的信息中快速發現自己真正需要的東西。 所以推薦系統要解決的問題用戶沒用明確的需求以及信息存在過載 。推薦系統一般要基於以下來搭建:

1、根據業務來定義自身產品的熱門標準

2、用戶信息:比如性別、年齡、職業、收入等

3、用戶行為

4、社會化關係

1、非個性化推薦

在冷啟動方面我們精彩用非個性化推薦來解決問題。常見的有:熱門推薦,編輯推薦,最新推薦等。下面是3個場景下的排序介紹:

熱門推薦:根據業務類型確定排名核心指標,比如閱讀數,其次要考慮避免馬太效應,所以增加1個維度:時間。一般情況一個內容的熱度是隨着時間不斷下降的,所以需要設定重力因子G,它決定熱度隨着時間流逝下降的速度。熱度初始值由閱讀數決定,我們假設R為閱讀書,距離發帖時間的時間為T,重力因子為G,熱度為rank。 根據熱度隨着時間而不斷下降,且是非線性的,所以我們用指數函數來表達時間和熱度的關係:rank=R/(T)^G,下圖為熱度的基本曲線:

通過該函數,我們可以隨意調整參數來控制曲線的平坦和陡峭,如果G越大,曲線越陡峭說明熱度下降越快。如果我們要調整熱度初始值,可對R進行調整,比如R1=R^0.8,來縮短每篇文章的初始熱度值

編輯推薦:一般由編輯在後台進行設置

最新推薦:如果無其他規則,一般按內容更新時間/創建時間來倒序

2、基於用戶基本信息推薦(人口統計學)

根據系統用戶的基本信息如:領域、職位、工作年齡、性別和所在地等。根據這些信息給用戶推薦感興趣或者相關的內容。

常見的用戶基本信息有:性別,年齡,工作、收入、領域、職位、所在地,手機型號、網絡條件、安裝渠道、操作系統等等。根據這些信息來關聯我們數據源,比如年齡-關聯電影表、收入-關聯商品類型表,性別-文章關聯表等等。然後設定權重,給予個性化的推薦。

步驟1:用戶建模,收集用戶基本信息,建立興趣圖譜,標籤體系樹狀結構然後配上權重

步驟2:內容建模,細分內容的元數據,將步驟1的用戶標籤和元數據連接,然後進行推薦

2、基於內容基本的推薦

根據推薦物品或者信息的元數據,發現物品或者信息的相關性, 然後基於用戶以往的喜好記錄 ,推薦給用戶相似的物品。

內容的一些基本屬性:tag、領域、主題、類型、關鍵字、來源等

3、基於協同過濾的推薦

這種算法基於一種物以類聚人以群分的假設, 喜歡相同物品的用戶更有可能具有相同的興趣 。基於協同過濾推薦系統一般應用於有用戶評分的系統中,通過分數去刻畫用戶對於物品的喜好。根據維度可分為2種:

1、基於用戶:找到和你相似的人推薦他們看過而你沒有看過的內容

比如下面,系統判斷甲乙2個用戶是相似的,那麼會給甲推薦短視頻相關內容,會給乙推薦數據分析相關內容

甲:產品經理、運營、數據分析

乙:產品經理、運營、短視頻

丙:比特幣、創業、硅谷

步驟1:找到和目標用戶興趣相似的用戶集合

步驟2:找到集合中用戶喜歡的且目標用戶沒有被推薦過的內容

2、基於物品:以物為本建立各商品之間相似度關係矩陣,用戶看了x也會看y

比如下面,甲和乙分別不約而同看了產品經理和數據分析,說明喜歡產品經理和數據分析的用戶重合度高,說明兩個內容相似。所以給喜歡產品經理的人推薦數據分析,給喜歡數據分析的人推薦產品經理。

這麼理解:喜歡產品經理的人有m人,喜歡數據分析有n人,其中m中有80%用戶與n中80%的用戶是一樣的,就意味着喜歡產品經理的用戶也會喜歡數據分析。

產品經理:甲、乙,丁

數據分析:甲、乙,戊

增長黑客:甲、丙

喜歡物品A的用戶,可能也會喜歡與物品A相似的物品B,通過歷史行為計算出2個物品的相似度(比如m人喜歡A,n人喜歡B,有k人喜歡A又喜歡B,那麼A和B的相似度可計算為k/m或者n,因為k屬於m和n),這個推薦和內容推薦算法區別是內容推薦算法是根據內容的屬性來關聯, 而基於物品的協同過濾則是根據用戶的行為對內容進行關聯

4、基於用戶社交關係推薦

用戶與誰交朋友或者關係好,在一定程度上朋友的需求和自身的需求是相似的。所以向用戶推薦好友喜歡的東西。本質上是好友關係鏈版的基於用戶的協調過濾

5、推薦思路的拓展

根據不同使用場景進行不同的推薦,可細分的場景包括用戶使用的:時間、地點、心情、網絡環境、興趣、上下文信息以及使用場景。每個場景的推薦內容都不一樣,所以往往一個系統都是由多種推薦方式組成,比如加權混合。

加權混合:用線性公式將幾種不同的推薦按照一定權重組合起來,具體權重值需要反覆測試調整。例子:加權混合=推薦1結果*a+推薦2結果*b+…+推薦n結果*n,其中abn為權重,和為1

下面分享一張來自知乎的圖,供學習,侵刪:

基於用戶信息的推薦 與 基於用戶的協同過濾:

兩者都是計算用戶的相似度, 但基於用戶信息的推薦只考慮用戶本身信息來計算相似度,而基於用戶的協同過濾是基於用戶歷史偏好來計算相似度

基於內容的信息推薦 與 基於物品的協同過濾:

兩者都是計算物品的相似度, 但是基於內容的信息推薦只考慮物品本身的屬性特徵來計算相似度,而基於物品的協同過濾是基於用戶歷史偏好來計算相似度

基於用戶信息的推薦特點:

1、不需要歷史數據,對用戶基本信息建模

2、不依賴於物品,所以其他領域可無縫接入

3、因為用戶基本信息一般變化不大,所以推薦效果一般

基於內容信息的推薦特點:

1、物品屬性有限,很難獲得有效又全的數據

2、需要獲取用戶喜歡的歷史內容,再來推薦與內容相似的東西,所以有冷啟動問題

基於用戶/基於物品的協同過濾推薦特點:

1、需要獲取用戶的歷史偏好,所以有冷啟動問題

2、推薦效果依賴於大數據,數據越多,推薦效果就越好

怎樣理解互聯網行業「數據分析」的意義

互聯網企業擁有大量的線上數據,而且數據量還在快速增長,除了利用大數據提升自己的業務之外,互聯網企業已經開始實現數據業務化,利用大數據發現新的商業價值。

以阿里巴巴為例,它不僅在不斷加強個性化推薦、「千人千面」這種面向消費者的大數據應用,並且還在嘗試利用大數據進行智能客戶服務,這種應用場景會逐漸從內部應用延展到外部很多企業的呼叫中心之中。

在面向商家的大數據應用中,以「生意參謀」為例,超過 600 萬商家在利用「生意參謀」提升自己的電商店面運營水平。除了面向自己的生態之外,阿里巴巴數據業務化也在不斷加速,「芝麻信用」這種基於收集的個人數據進行個人信用評估的應用獲得了長足發展,應用場景從阿里巴巴的內部延展到越來越多的外部場景,如租車、酒店、簽證等。

因為客戶的所有行為都會在互聯網平台上留下痕迹,所以互聯網企業可以方便地獲取大量的客戶行為信息。由互聯網商務平台產生的信息一般具有真實性和確定性,通過運用大數據技術對這些數據進行分析,可以幫助企業制定出具有針對性的服務策略,從而獲取更大的效益。近年來的實踐證明,合理地運用大數據技術能夠將電子商務的營業效率提高 60% 以上。

大數據在過去幾年中已經改變了電子商務的面貌,具體來講,電子商務行業的大數據應用有以下幾個方面:精準營銷、個性化服務、商品個性化推薦。

1. 精準營銷

互聯網企業使用大數據技術採集有關客戶的各類數據,並通過大數據分析建立「用戶畫像」來抽象地描述一個用戶的信息全貌,從而可以對用戶進行個性化推薦、精準營銷和廣告投放等。

當用戶登錄網站的瞬間,系統就能預測出該用戶今天為何而來,然後從商品庫中把合適的商品找出來,並推薦給他。圖 1 顯示了用戶畫像會包括哪些用戶基本信息和特性。

圖 1 用戶畫像

大數據支持下的營銷核心在於,讓企業的業務在合適的時間,通過合適的載體,以合適的方式,推送給最需要此業務的用戶。

首先,大數據營銷具有很強的時效性。在互聯網時代,用戶的消費行為極易在短時間內發生變化,大數據營銷可以在用戶需求最旺盛時及時進行營銷策略實施。

其次,可以實施個性化、差異化營銷。大數據營銷可以根據用戶的興趣愛好、在某一時間點的需求,做到對細分用戶的一對一的營銷,讓業務的營銷做到有的放矢,並可以根據實時性的效果反饋,及時調整營銷策略。

最後,大數據營銷對目標用戶的信息可以進行關聯性分析。大數據可以對用戶的各種信息進行多維度的關聯分析,從大量數據中發現數據項集之間有趣的關聯和相關聯繫。

例如,通過發現用戶購物籃中的不同商品之間的聯繫,分析出用戶的其他消費習慣。通過了解哪些商品頻繁地被用戶同時購買,幫助營銷人員從用戶的一種商品消費習慣,發現用戶另外的商品消費規律,從而針對此用戶制定出相關商品的營銷策略。圖 2 顯示了網站會根據用戶畫像為不同客戶推薦不同商品。

圖 2 精準營銷

例如,某電子商務平台通過客戶的網絡瀏覽記錄和購買記錄等掌握客戶的消費模式,從而分析並分類客戶的消費相關特性。如收入、家庭特徵、購買習慣等,最終掌握客戶特徵,並基於這些特徵判斷其可能關注的產品與服務。

從消費者進入網站開始,網站在列表頁、單品頁、購物車頁等 4 個頁面,部署了 5 種應用不同算法的推薦欄為其推薦感興趣的商品,從而提高商品曝光率,促進交叉和向上銷售。從多個角度對網站進行全面優化後,商城下定訂單轉化率增長了 66.7%,下定商品轉化率增長了 18%,總銷量增長了 46%。

在美國的沃爾瑪大賣場,當收銀員掃描完顧客所選購的商品後,POS 機上會顯示出一些附加信息,然後售貨員會根據這些信息提醒顧客還可以購買哪些商品。沃爾瑪在大數據系統支持下實現的「顧問式營銷」系統能夠建立預測模型,例如,如果顧客的購物車中有不少啤酒、紅酒和沙拉,則有 80% 的可能需要買配酒小菜、作料。

2. 個性化服務

電子商務具有提供個性化服務的先天優勢,可以通過技術支持實時獲得用戶的在線記錄,並及時為他們提供定製化服務。

許多電商都已經嘗試了依靠數據分析,在首頁為用戶提供全面的個性化的商品推薦。海爾和天貓提供了讓用戶在網上定製電視的功能,顧客可以在電視機生產以前選擇尺寸、邊框、清晰度、能耗、顏色、接口等屬性,再由廠商組織生產並送貨到顧客家中。這樣的個性化服務受到了廣泛歡迎。

類似的定製服務還岀現在空調、服裝等行業。這些行業通過滿足個性化需求使顧客得到更滿意的產品和服務,進而縮短設計、生產、運輸、銷售等周期,提升商業運轉效率。

企業要為用戶提供理想的個性化服務,首先必須通過數據充分了解用戶的個性,其次是合理地掌控和設計服務的個性。了解用戶個性是為用戶提供他們想要的產品和服務的基礎。企業需要在龐大的數據庫中,找出最具有含金量的數據,然後,通過數據挖掘方法對用戶進行聚類,再依據用戶類型的特徵設計針對性的服務。

個性化分散的單位可大可小,大到一個有同樣需求的客戶群體,小到每一個用戶都是一個個性化需求單位。企業必須掌握好個性化服務的粒度,過於分散的個性化服務,會增加企業的服務成本和管理的複雜程度,所增加的個性化成本和實際收益需要成正比。

圖 3 提供個性化旅遊服務

攜程的大數據應用從用戶的角度岀發,分析基於攜程所有用戶的數據,包括用戶在查詢、瀏覽、預訂、出行、評論等一系列旅行前後行為中所產生的數據。攜程在剔除無效數據的同時,保證用戶所留下的數據的真實性,然後將大量的數據進行實時篩選、分揀與重新組織並應用到用戶的出行前、出行中、出行後的個性化需求中,如圖 3 所示。

要做到個性化,明確用戶的目標需求是至關重要的,不僅要看訂單,還要關心用戶所關心的內容。例如,同樣是預訂五星級酒店,有些用戶對酒店設施十分敏感,有些看重酒店位置,有些則更在意酒店服務,對此,攜程會根據用戶的需求推薦不同的酒店。

美國塔吉特(Target)百貨設立了一個迎嬰聚會登記表,並對登記表中顧客的消費數據進行建模分析。他們發現,許多孕婦在第二個妊娠期的開始會買許多大包裝的無香味護手霜,在懷孕的最初 20 周會大量購買補充鈣、鋅之類的保健品。

塔吉特最終選出了 25 種典型商品的消費數據,構建了「懷孕預測指數」。通過這個預測指數,塔吉特能夠在很小的誤差範圍內預測到顧客的懷孕情況,從而就能在合適的時間把孕婦優惠廣告寄發給顧客。

「Nike 跑鞋或腕帶傳感器」使耐克逐漸成為大數據營銷的創新公司。運動者只要穿着 Nike 的跑鞋運動,與之關聯的 iPod 就可以存儲並顯示運動日期、時間、距離、熱量消耗值等數據。

Nike 通過跑步者上傳的跑步路線掌握了主要城市最佳跑步路線的數據庫,而且組織城市的跑步活動效果更好。目前,Nike 的運動網上社區有超過 500 萬名活躍用戶每天不停地上傳數據,Nike 藉此與消費者建立了前所未有的牢固關係。同時,海量的數據對於 Nike 了解用戶習慣、改進產品、精準投放和精準營銷也起到了不可替代的作用,Nike 甚至掌握了跑步者最喜歡聽的歌是哪些。個性化服務離不開顧客的主動參與和分享,來源於客戶的數據也能更精準地服務於客戶。

「三隻松鼠」近幾年的快速發展,一方面是依靠品牌推廣,另一方面是在數據分析的基礎上不斷完善細節,包括個性化的稱呼、「三隻松鼠」的卡通形象、贈品的差別化、不同的顧客標籤分類以及用戶體驗等。「三隻松鼠」通過 ERP 系統能夠了解所有顧客在商城的購買記錄,通過 CRM 系統能夠準確抓取用戶的評價,一些不經意的留言和評級會反映出他們的需求。

通過分析顧客過去在商城的購買習慣,用戶的購買評價,來判斷哪種口味的產品在哪個地區賣得最好,哪種產品是消費者最樂於接受的,從而進行更有針對性的產品首頁推薦。同時,他們會對顧客進行個性化、人性化的標籤分類和細化分析,從而根據這些分類,推送不同的產品類型。例如,愛老婆型顧客購買的產品主要是以老婆食用為主的,「三隻松鼠」會在包裹里放上書信,以「松鼠」的口吻代替顧客給他老婆寫一封信。

3. 商品個性化推薦

隨着電子商務規模的不斷擴大,商品數量和種類快速增長,顧客需要花費大量的時間才能找到自己想買的商品。

個性化推薦系統通過分析用戶的行為,包括反饋意見、購買記錄和社交數據等,以分析和挖掘顧客與商品之間的相關性,從而發現用戶的個性化需求、興趣等,然後將用戶感興趣的信息、產品推薦給用戶。

個性化推薦系統針對用戶特點及興趣愛好進行商品推薦,能有效地提高電子商務系統的服務能力,從而保留客戶。

1)電子商務網站

隨着電子商務的蓬勃發展,推薦系統在互聯網中的優勢地位也越來越明顯。

在國際方面,Amazon 平台中採用的推薦算法被認為是非常成功的。在國內,比較大型的電子商務平台網站有淘寶網(包括天貓商城)、京東商城、噹噹網、蘇寧易購等。

在這些電子商務平台中,網站提供的商品數量不計其數,網站中的用戶規模也非常巨大。據不完全統計,天貓商城中的商品數量已經超過了 4 000 萬。

在如此龐大的電商網站中,用戶根據自己的購買意圖輸入關鍵字查詢後,會得到很多相似的結果。用戶在這些結果中也很難區分異同,難於選擇合適的物品,推薦系統能夠根據用戶興趣為用戶推薦一些用戶感興趣的商品。電子商務網站利用推薦系統為用戶推薦商品,方便了用戶,從而也提高了網站的銷售額。

2)電影視頻網站

個性化推薦系統在電影和視頻網站中的應用也很廣泛,能夠幫助用戶在浩瀚的視頻庫中找到令他們感興趣的視頻。在該領域成功使用推薦系統的一家公司就是 Netflix。

Netflix 原先是一家 DVD 租賃網站,後來開始涉足在線視頻業務。Netflix 非常重視個性化推薦技術,並且在 2006 年開始舉辦著名的 Netflix Prize 推薦系統比賽,希望研究人員能夠將 Netflix 的推薦算法的預測準確度提升 10%。

該比賽對推薦系統的發展起到了重要的推動作用:一方面該比賽給學術界提供了一個實際系統中的大規模用戶行為數據集(40 萬用戶對 2 萬部電影的上億條評分記錄);另一方面,在 3 年的比賽中,參賽者提出了很多推薦算法,大大降低了推薦系統的預測誤差。

圖 4 是 Netflix 的電影推薦界面,包含了電影的標題和海報、用戶反饋和推薦理由三部分。Netflix 使用的是基於物品的推薦算法,即給用戶推薦和他們曾經喜歡的電影相似的電影。Netflix 宣稱有 60% 的用戶是通過其推薦系統找到感興趣的電影和視頻的。

圖 4 Netflix 電影推薦

YouTube 作為美國最大的視頻網站,擁有大量用戶上傳的視頻內容。為了解決視頻庫的信息過載問題,YouTube 在個性化推薦領域也進行了深入研究,現在使用的也是基於物品的推薦算法。實驗證明,YouTube 個性化推薦的點擊率是熱門視頻點擊率的兩倍。

3)網絡電台

個性化網絡電台也很適合進行個性化推薦。首先,音樂很多,用戶不可能聽完所有的音樂再決定自己喜歡聽什麼,而且每年新的歌曲在以很快的速度增加,因此用戶無疑面臨著信息過載的問題。其次,人們聽音樂時,一般都是把音樂作為一種背景樂來聽,很少有人必須聽某首特定的歌。對於普通用戶來說,聽什麼歌都可以,只要能夠符合他們當時的心情就可以了。因此,個性化音樂網絡電台是非常符合個性化推薦技術的產品。

目前有很多知名的個性化音樂網絡電台。國際上著名的有 Pandora 和 Last.fm | Play music, find songs, and discover artists,國內的代表則是豆瓣電台。這 3 個個性化網絡電台都不允許用戶點歌,而是給用戶幾種反饋方式:喜歡、不喜歡和跳過。經過用戶一定時間的反饋,電台就可以從用戶的歷史行為中獲得用戶的興趣模型,從而使用戶的播放列表越來越符合用戶對歌曲的興趣。

Pandora 的算法主要是基於內容的,其音樂家和研究人員親自聽了上萬首來自不同歌手的歌,然後對歌曲的不同特性(如旋律、節奏、編曲和歌詞等)進行標註,這些標註被稱為音樂的基因。然後,Pandora 會根據專家標註的基因計算歌曲的相似度,並給用戶推薦和他之前喜歡的音樂在基因上相似的其他音樂。

Last.fm | Play music, find songs, and discover artists 記錄了所有用戶的聽歌記錄及用戶對歌曲的反饋,在這一基礎上計算出不同用戶在歌曲上的喜好相似度,從而給用戶推薦和他有相似聽歌愛好的其他用戶喜歡的歌曲。同時,Last.fm | Play music, find songs, and discover artists 也建立了一個社交網絡,來讓用戶能夠和其他用戶建立聯繫,以及讓用戶給好友推薦自己喜歡的歌曲。Last.fm | Play music, find songs, and discover artists 沒有使用專家標註,而是主要利用用戶行為計算歌曲的相似度。

4)社交網絡

社交網絡中的個性化推薦技術主要應用在 3 個方面:利用用戶的社交網絡信息對用戶進行個性化的物品推薦,信息流的會話推薦和給用戶推薦好友。

Facebook 保存着兩類最寶貴的數據:一類是用戶之間的社交網絡關係,另一類是用戶的偏好信息。

Facebook 推出了一個稱為 Instant Personalization 的推薦 API,它能根據用戶好友喜歡的信息,給用戶推薦他們的好友最喜歡的物品。很多網站都使用了 Facebook 的推薦 API 來實現網站的個性化。

著名的電視劇推薦網站 Clicker 使用 Instant Personalization 給用戶進行個性化視頻推薦。Clicker 現在可以利用 Facebook 的用戶行為數據來提供個性化的、用戶可能感興趣的內容「』流」了,而更重要的是,用戶無須在 Clicker 網站上輸入太多數據(通過評分、評論或觀看 Clicker.com 上的視頻等方式),Clicker 就能提供這樣的服務。

除了利用用戶在社交網站的社交網絡信息給用戶推薦本站的各種物品外,社交網站本身也會利用社交網絡給用戶推薦其他用戶在社交網站的會話。每個用戶在 Facebook 的個人首頁都能看到好友的各種分享,並且能對這些分享進行評論。每個分享和它的所有評論被稱為一個會話,Facebook 開發了 EdgeRank 算法對這些會話排序,使用戶能夠盡量看到熟悉的好友的最新會話。

除了根據用戶的社交網絡及用戶行為給用戶推薦內容,社交網站還通過個性化推薦服務給用戶推薦好友。

5)其他應用

因為電子商務企業基本上實現了業務流程的各個環節的數據化,所以可以充分利用大數據技術對這些數據進行挖掘分析來優化其業務流程,提高業務利潤。除了前面介紹的幾個應用之外,大數據在電子商務行業還可以應用在其他許多方面。

① 動態定價和特價優惠

電子商務企業可以通過使用數據構建客戶資料,並發現用戶喜歡花費多少費用和喜歡購買什麼產品,從而通過跟蹤客戶的消費行為,使用大數據分析來開發靈活的定價和折扣政策。例如,如果分析顯示用戶對特定類別商品的興趣飆升,則電子商務企業可以提供打折或買一送一優惠。

② 定製優惠

電子商務企業可以通過使用數據來確定客戶的購買習慣,並根據以前的購買方式向他們發送有針對性的特價優惠和折扣代碼。數據也可以用於在客戶中止購買或只看不買時重新吸引客戶,例如,通過發送電子郵件提醒客戶他們查看過的產品或邀請他們完成購買。

③ 供應鏈管理

電子商務企業可以使用大數據更有效地管理供應鏈。數據分析可以揭示供應鏈中的任何延遲或潛在的庫存問題。如果某個項目存在問題,則可以立即將其從銷售中刪除,以免破壞客戶服務問題。

④ 預測分析

預測分析是指利用大數據技術分析電子商務業務的各種渠道,幫助企業制定未來運營的業務計劃。數據分析可能會顯示電商企業在線商店部門的新購買趨勢或銷售減緩的商品。

使用這些信息就可以幫助規划下一階段的庫存,並制定新的市場目標。隨時了解電子商務的最新趨勢具有一定的挑戰性,但是利用大數據技術可以大大提高企業的利潤,並幫助企業建立一個成功的前瞻性思維業務。如果不利用挖掘大數據的力量,就可能會錯過市場成功的機遇。

如何學習python語言在推薦算法

看推薦系統實戰,把裡邊的算法都手寫一遍,裡邊的代碼都是python實現的。

另外可以學習機器學習實戰這本書,還可以在實驗樓系統里做實驗。也是python的

推薦算法簡介

寫在最前面:本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。

推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站,到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦,到處都有推薦系統的身影。推薦算法是推薦系統的核心,其本質是通過一定的方式將用戶和物品聯繫起來,而不同的推薦系統利用了不同的方式。

推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此,目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件:

在推薦系統的眾多算法中,基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種算法開始,結合時間、地點上下文環境以及社交環境,對常見的推薦算法做一個簡單的介紹。

基於內容的算法的本質是對物品內容進行分析,從中提取特徵,然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此,基於內容的推薦算法有兩個最基本的要求:

下面我們以一個簡單的電影推薦來介紹基於內容的推薦算法。

現在有兩個用戶A、B和他們看過的電影以及打分情況如下:

其中問好(?)表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分,平均分為 4 .7 分 ( (5+4+5 ) / 3=4.7 );對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 ( ( 3十2+2 ) /3=2.3 )。現在需要給A推薦電影,很明顯A更傾向於科幻電影,因此推薦系統會給A推薦獨立日。而對於用戶B,通過簡單的計算我們可以知道更喜歡愛情電影,因此給其推薦《三生三世》。當然,在實際推薦系統中,預測打分比這更加複雜些,但是其原理是一樣的。

現在,我們可以將基於內容的推薦歸納為以下四個步驟:

通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效,可解釋性好,沒有物品冷啟動問題。但他也有兩個明顯的缺點:

最後,順便提一下特徵提取方法:對於某些特徵較為明確的物品,一般可以直接對其打標籤,如電影類別。而對於文本類別的特徵,則主要是其主題情感等,則些可以通過tf-idf或LDA等方法得到。

基於協同的算法在很多地方也叫基於鄰域的算法,主要可分為兩種:基於用戶的協同算法和基於物品的協同算法。

啤酒和尿布的故事在數據挖掘領域十分有名,該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多,因此將啤酒和尿布擺在了一起,最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。

基於物品的協同過濾指基於物品的行為相似度(如啤酒尿布被同時購買)來進行物品推薦。該算法認為,物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。

基於物品的協同過濾算法主要分為兩步:

基於物品的協同過濾算法中計算物品相似度的方法有以下幾種:

(1)基於共同喜歡物品的用戶列表計算。

此外,John S. Breese再其論文中還提及了IUF(Inverse User Frequence,逆用戶活躍度)的參數,其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶,應該增加IUF參數來修正物品相似度的公式:

上面的公式只是對活躍用戶做了一種軟性的懲罰, 但對於很多過於活躍的用戶, 比如某位買了噹噹網80%圖書的用戶, 為了避免相似度矩陣過於稠密, 我們在實際計算中一般直接忽略他的興趣列表, 而不將其納入到相似度計算的數據集中。

(2)基於餘弦相似度計算。

(3)熱門物品的懲罰。

從上面(1)的相似度計算公式中,我們可以發現當物品 i 被更多人購買時,分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品,分子 N(i) ∩ N(j) 的增長速度往往高於 N(i),這就會使得物品 i 和很多其他的物品相似度都偏高,這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門,會使得個性化感知下降。以歌曲相似度為例,大部分用戶都會收藏《小蘋果》這些熱門歌曲,從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題,我們對於物品 i 進行懲罰,例如下式, 當α∈(0, 0.5) 時,N(i) 越小,懲罰得越厲害,從而使熱門物品相關性分數下降( 博主註:這部分未充分理解 ):

此外,Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化, 可以提高推薦的準確率。 其研究表明, 如果已經得到了物品相似度矩陣w, 那麼可以用如下公式得到歸一化之後的相似度矩陣w’:

歸一化的好處不僅僅在於增加推薦的準確度,它還可以提高推薦的覆蓋率和多樣性。一般來說,物品總是屬於很多不同的類,每一類中的物品聯繫比較緊密。假設物品分為兩類——A和B, A類物品之間的相似度為0.5, B類物品之間的相似度為0.6, 而A類物品和B類物品之間的相似度是0.2。 在這種情況下, 如果一個用戶喜歡了5個A類物品和5個B類物品, 用ItemCF給他進行推薦, 推薦的就都是B類物品, 因為B類物品之間的相似度大。 但如果歸一化之後, A類物品之間的相似度變成了1, B類物品之間的相似度也是1, 那麼這種情況下, 用戶如果喜歡5個A類物品和5個B類物品, 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出, 相似度的歸一化可以提高推薦的多樣性。

那麼,對於兩個不同的類,什麼樣的類其類內物品之間的相似度高,什麼樣的類其類內物品相似度低呢?一般來說,熱門的類其類內物品相似度一般比較大。如果不進行歸一化,就會推薦比較熱門的類裏面的物品,而這些物品也是比較熱門的。因此,推薦的覆蓋率就比較低。相反,如果進行相似度的歸一化,則可以提高推薦系統的覆蓋率。

最後,利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分:

基於用戶的協同算法與基於物品的協同算法原理類似,只不過基於物品的協同是用戶U購買了A物品,會計算經常有哪些物品與A一起購買(也即相似度),然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性(通過計算這些用戶購買過的相同的物品),然後將這些相似用戶購買過的物品推薦給用戶U。

基於用戶的協同過濾算法主要包括兩個步驟:

步驟(1)的關鍵是計算用戶的興趣相似度,主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v,N(u) 表示用戶u曾經有過正反饋(譬如購買)的物品集合,N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度:

或通過餘弦相似度:

得到用戶之間的相似度之後,UserCF算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF算法中用戶 u 對物品 i 的感興趣程度:

首先回顧一下UserCF算法和ItemCF算法的推薦原理:UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品, 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。

(1)從推薦場景考慮

首先從場景來看,如果用戶數量遠遠超過物品數量,如購物網站淘寶,那麼可以考慮ItemCF,因為維護一個非常大的用戶關係網是不容易的。其次,物品數據一般較為穩定,因此物品相似度矩陣不必頻繁更新,維護代價較小。

UserCF的推薦結果着重於反應和用戶興趣相似的小群體的熱點,而ItemCF的推薦結果着重於維繫用戶的歷史興趣。換句話說,UserCF的推薦更社會化,反應了用戶所在小型興趣群體中物品的熱門程度,而ItemCF的推薦更加個性化,反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦,而且新聞內容更新頻率非常高,想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。

在新聞類網站中,用戶的興趣愛好往往比較粗粒度,很少會有用戶說只看某個話題的新聞,而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點,熱門程度和時效性是個性化新聞推薦的重點,個性化是補充,所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞,這樣在保證了熱點和時效性的同時,兼顧了個性化。

(2)從系統多樣性(也稱覆蓋率,指一個推薦系統能否給用戶提供多種選擇)方面來看,ItemCF的多樣性要遠遠好於UserCF,因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性,能夠發現長尾物品。所以大多數情況下,ItemCF在精度上較小於UserCF,但其在覆蓋率和新穎性上面卻比UserCF要好很多。

在介紹本節基於矩陣分解的隱語義模型之前,讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。

基於SVD矩陣分解在推薦中的應用可分為如下幾步:

SVD在計算前會先把評分矩陣 A 缺失值補全,補全之後稀疏矩陣 A 表示成稠密矩陣,然後將分解成 A’ = U∑V T 。但是這種方法有兩個缺點:(1)補成稠密矩陣後需要耗費巨大的儲存空間,對這樣巨大的稠密矩陣進行儲存是不現實的;(2)SVD的計算複雜度很高,對這樣大的稠密矩陣中進行計算式不現實的。因此,隱語義模型就被發明了出來。

更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。

隱語義模型(Latent Factor Model)最早在文本挖掘領域被提出,用於找到文本的隱含語義。相關的算法有LSI,pLSA,LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹,並通過實際的數據評測該模型。

隱語義模型的核心思想是通過隱含特徵聯繫用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。

現有兩個用戶,用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書,而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢?

我們可以對書和物品的興趣進行分類。對於某個用戶,首先得到他的興趣分類,然後從分類中挑選他可能喜歡的物品。簡言之,這個基於興趣分類的方法大概需要解決3個問題:

對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例,每本書出版時,編輯都會給出一個分類。但是,即使有很系統的分類體系,編輯給出的分類仍然具有以下缺點:(1)編輯的意見不能代表各種用戶的意見;(2)編輯很難控制分類的細粒度;(3)編輯很難給一個物品多個分類;(4)編輯很難給一個物品多個分類;(5)編輯很難給出多個維度的分類;(6)編輯很難決定一個物品在某一個類別中的權重。

為了解決上述問題,研究員提出可以從數據出發,自動找到那些分類,然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類,較好地解決了上面提出的5個問題。

LFM將矩陣分解成2個而不是3個:

推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數,具體涉及到ALS(交替最小二乘法,Alternating Least Squares)中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」:

一個小細節:在隱性反饋數據集中,只有正樣本(正反饋)沒有負反饋(負樣本),因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討,對比了如下幾種方法:

用戶行為很容易用二分圖表示,因此很多圖算法都可以應用到推薦系統中。基於圖的模型(graph-based model)是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型,因為可以把基於領域的模型看作基於圖的模型的簡單形式。

在研究基於圖的模型之前,需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的,其中 u 表示用戶對物品 i 產生過行為。

令 G(V, E) 表示用戶物品二分圖,其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ,圖中都有一套對應的邊 e(v u , v i ),其中 v u ∈V U 是用戶對應的頂點,v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖,其中圓形節點代表用戶,方形節點代表物品,用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。

度量圖中兩個頂點之間相關性的方法很多,但一般來說圖中頂點的相關性主要取決於下面3個因素:

而相關性高的一對頂點一般具有如下特徵:

舉個例子,如下圖,用戶A和物品c、e沒有邊直連,但A可通過一條長度為3的路徑到達c,而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c,因而物品e在用戶A的推薦列表中應該排在物品c之前,因為Ae之間有兩條路徑。其中,(A,b,C,e)路徑經過的頂點的出度為(3,2,2,2),而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D,所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於(A,b,C,e)。

基於上面3個主要因素,研究人員設計了很多計算圖中頂點相關性的方法,本節將介紹一種基於隨機遊走的PersonalRank算法。

假設要給用戶u進行個性化推薦,可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時,首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走,則從當前節點指向的節點中按照均勻分佈隨機選擇一個節點作為遊走下次經過的節點。這樣,經過很多次隨機遊走後,每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。

上述算法可以表示成下面的公式:

雖然通過隨機遊走可以很好地在理論上解釋PersonalRank算法,但是該算法在時間複雜度上有明顯的缺點。因為在為每個用戶進行推薦時,都需要在整個用戶物品二分圖上進行迭代,知道所有頂點的PR值都收斂。這一過程的時間複雜度非常高,不僅無法在線進行實時推薦,離線計算也是非常耗時的。

有兩種方法可以解決上面PersonalRank時間複雜度高的問題:

(1)減少迭代次數,在收斂之前停止迭代。但是這樣會影響最終的精度。

(2)從矩陣論出發,重新涉及算法。另M為用戶物品二分圖的轉移概率矩陣,即:

網絡社交是當今社會非常重要甚至可以說是必不可少的社交方式,用戶在互聯網上的時間有相當大的一部分都用在了社交網絡上。

當前國外最著名的社交網站是Facebook和Twitter,國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類:

需要指出的是,任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人,而微博中的好友也可以是現實中認識的。

社交網絡定義了用戶之間的聯繫,因此可以用圖定義社交網絡。我們用圖 G(V,E,w) 定義一個社交網絡,其中V是頂點集合,每個頂點代表一個用戶,E是邊集合,如果用戶va和vb有社交網絡關係,那麼就有一條邊 e(v a , v b ) 連接這兩個用戶,而 w(v a , v b )定義了邊的權重。一般來說,有三種不同的社交網絡數據:

和一般購物網站中的用戶活躍度分佈和物品流行度分佈類似,社交網絡中用戶的入度(in degree,表示有多少人關注)和出度(out degree,表示關注多少人)的分佈也是滿足長尾分佈的。即大部分人關注的人都很少,被關注很多的人也很少。

給定一個社交網絡和一份用戶行為數據集。其中社交網絡定義了用戶之間的好友關係,而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。

用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說,用戶更加相信自己熟悉的好友的推薦,因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。

(1)對於用戶u和用戶v,可以使用共同好友比例來計算他們的相似度:

上式中 out(u) 可以理解為用戶u關注的用戶合集,因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。

(2)使用被關注的用戶數量來計算用戶之間的相似度,只要將公式中的 out(u) 修改為 in(u):

in(u) 是指關注用戶u的集合。在無向社交網絡中,in(u)和out(u)是相同的,而在微博這種有向社交網絡中,這兩個集合的含義就不痛了。一般來說,本方法適合用來計算微博大V之間的相似度,因為大v往往被關注的人數比較多;而方法(1)適用於計算普通用戶之間的相似度,因為普通用戶往往關注行為比較豐富。

(3)除此之外,還可以定義第三種有向的相似度:這個相似度的含義是用戶u關注的用戶中,有多大比例也關注了用戶v:

這個相似度有一個缺點,就是在該相似度下所有人都和大v有很大的相似度,這是因為公式中的分母並沒有考慮 in(v) 的大小,所以可以把 in(v) 加入到上面公式的分母,來降低大v與其他用戶的相似度:

上面介紹了3種計算用戶之間相似度(或稱熟悉度)的計算方法。除了熟悉程度,還需要考慮用戶之間的興趣相似度。我們和父母很熟悉,但很多時候我們和父母的興趣確不相似,因此也不會喜歡他們喜歡的物品。因此,在度量用戶相似度時,還需要考慮興趣相似度,而興趣相似度可以通過和UserCF類似的方法度量,即如果兩個用戶喜歡的物品集合重合度很高,兩個用戶的興趣相似度很高。

最後,我們可以通過加權的形式將兩種權重合併起來,便得到了各個好有用戶的權重了。

有了權重,我們便可以針對用戶u挑選k個最相似的用戶,把他們購買過的物品中,u未購買過的物品推薦給用戶u即可。打分公式如下:

其中 w’ 是合併後的權重,score是用戶v對物品的打分。

node2vec的整體思路分為兩個步驟:第一個步驟是隨機遊走(random walk),即通過一定規則隨機抽取一些點的序列;第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。

隨機遊走在前面基於圖的模型中已經介紹過,其主要分為兩步:(1)選擇起始節點;(2)選擇下一節點。起始節點選擇有兩種方法:按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。

在選擇下一節點方法上,最簡單的是按邊的權重來選擇,但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走範圍。一般來說,深度優先發現能力更強,廣度優先更能使社區內(較相似)的節點出現在一個路徑里。

斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。

以上圖為例,假設第一步是從t隨機遊走到v,這時候我們要確定下一步的鄰接節點。本例中,作者定義了p和q兩個參數變量來調節遊走,首先計算其鄰居節點與上一節點t的距離d,根據下面的公式得到α:

一般從每個節點開始遊走5~10次,步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。

得到序列之後,便可以通過word2vec的方式訓練得到各個用戶的特徵向量,通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度,便可以使用基於用戶的推薦算法了。

推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣,因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統,就是冷啟動問題。

冷啟動問題主要分為三類:

針對用戶冷啟動,下面給出一些簡要的方案:

(1)有效利用賬戶信息。利用用戶註冊時提供的年齡、性別等數據做粗粒度的個性化;

(2)利用用戶的社交網絡賬號登錄(需要用戶授權),導入用戶在社交網站上的好友信息,然後給用戶推薦其好友喜歡的物品;

(3)要求用戶在登錄時對一些物品進行反饋,手機用戶對這些物品的興趣信息,然後給用推薦那些和這些物品相似的物品;

(4)提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜,我們可以給用戶推薦熱門排行榜,然後等到用戶數據收集到一定的時候,在切換為個性化推薦。

對於物品冷啟動,可以利用新加入物品的內容信息,將它們推薦給喜歡過和他們相似的物品的用戶。

對於系統冷啟動,可以引入專家知識,通過一定高效的方式快速建立起物品的相關度表。

在上面介紹了一些推薦系統的基礎算法知識,這些算法大都是比較經典且現在還在使用的。但是需要注意的是,在實踐中,任何一種推薦算法都不是單獨使用的,而是將多種推薦算法結合起來,也就是混合推薦系統,但是在這裡並不准備介紹,感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外,在推薦中非常重要的點擊率模型以及基於矩陣的一些排序算法在這裡並沒有提及,感興趣的也可自行學習。

雖然現在用的很多算法都是基於深度學習的,但是這些經典算法能夠讓我們對推薦系統的發展有一個比較好的理解,同時,更重要的一點——「推陳出新」,只有掌握了這些經典的算法,才能提出或理解現在的一些更好地算法。

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/282876.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-12-22 08:06
下一篇 2024-12-22 08:06

相關推薦

  • Python中引入上一級目錄中函數

    Python中經常需要調用其他文件夾中的模塊或函數,其中一個常見的操作是引入上一級目錄中的函數。在此,我們將從多個角度詳細解釋如何在Python中引入上一級目錄的函數。 一、加入環…

    編程 2025-04-29
  • Python計算陽曆日期對應周幾

    本文介紹如何通過Python計算任意陽曆日期對應周幾。 一、獲取日期 獲取日期可以通過Python內置的模塊datetime實現,示例代碼如下: from datetime imp…

    編程 2025-04-29
  • 如何查看Anaconda中Python路徑

    對Anaconda中Python路徑即conda環境的查看進行詳細的闡述。 一、使用命令行查看 1、在Windows系統中,可以使用命令提示符(cmd)或者Anaconda Pro…

    編程 2025-04-29
  • Python列表中負數的個數

    Python列表是一個有序的集合,可以存儲多個不同類型的元素。而負數是指小於0的整數。在Python列表中,我們想要找到負數的個數,可以通過以下幾個方面進行實現。 一、使用循環遍歷…

    編程 2025-04-29
  • Python周杰倫代碼用法介紹

    本文將從多個方面對Python周杰倫代碼進行詳細的闡述。 一、代碼介紹 from urllib.request import urlopen from bs4 import Bea…

    編程 2025-04-29
  • Python清華鏡像下載

    Python清華鏡像是一個高質量的Python開發資源鏡像站,提供了Python及其相關的開發工具、框架和文檔的下載服務。本文將從以下幾個方面對Python清華鏡像下載進行詳細的闡…

    編程 2025-04-29
  • Python字典去重複工具

    使用Python語言編寫字典去重複工具,可幫助用戶快速去重複。 一、字典去重複工具的需求 在使用Python編寫程序時,我們經常需要處理數據文件,其中包含了大量的重複數據。為了方便…

    編程 2025-04-29
  • Python程序需要編譯才能執行

    Python 被廣泛應用於數據分析、人工智能、科學計算等領域,它的靈活性和簡單易學的性質使得越來越多的人喜歡使用 Python 進行編程。然而,在 Python 中程序執行的方式不…

    編程 2025-04-29
  • 蝴蝶優化算法Python版

    蝴蝶優化算法是一種基於仿生學的優化算法,模仿自然界中的蝴蝶進行搜索。它可以應用於多個領域的優化問題,包括數學優化、工程問題、機器學習等。本文將從多個方面對蝴蝶優化算法Python版…

    編程 2025-04-29
  • python強行終止程序快捷鍵

    本文將從多個方面對python強行終止程序快捷鍵進行詳細闡述,並提供相應代碼示例。 一、Ctrl+C快捷鍵 Ctrl+C快捷鍵是在終端中經常用來強行終止運行的程序。當你在終端中運行…

    編程 2025-04-29

發表回復

登錄後才能評論