❶ 學IT的，寫了一個電影推薦系統，但是為什麼評分預測值大於五
全文以「預測電影評分」例子展開
r(i,j)=0則表明user_j沒有對movie_i 沒有評分，
推薦系統要做的就是通過預測user_j對這些movie {i|r(i,j)=0}的評分來給user_j 推薦其可能會喜歡的電影<預測評分較高的movie>
=======================================二、基於內容的推薦=======================================
對每個movie_i引入特徵x(i)=(x1, x2)，這種特徵可能表明user對movie類型的偏好：浪漫or動作等
對於每個user引入一個參數theta，然後對評分矩陣的每列(對應一個user)做線性回歸，數據是{ (x(i), y(i,j)) |r(i,j)=1，for some j all i}
像機器學習一樣，x(i)添加個1變數x(i)=(1, x1, x2)
那麼對於未評分的movie_t，我們可以使用線性回歸訓練的參數theta與對應特徵x(t)做內積來得到其預測評分
對每個用戶都訓練一個參數theta_j，優化模型如下：
優化演算法：注意正則項是不約束x(i)=(1, x1, x2)中1對應的參數theta的第一項theta0，所以k=0與k=1,2分別對待
=======================================三、協同過濾=======================================
現在換個角度：如果知道theta for all user j，如何來預測x(i) = (x1, x2) all i
仍然可以使用線性回歸，為訓練每個x(i)，需要評分矩陣的第i行數據{ (x(i), y(i,j)) |r(i,j)=1，for some i all j}
theta_j = (0, theta1, theta2) ；theta1=5說明user_j喜歡romance類movie， theta2=5說明user_j喜歡action類movie，只能有一個等於5哦，
我覺得也可以是：theta_j = (0, 4, 1) ；喜歡romance 4 action 1.
對應的優化：
協同過濾：交替優化theta與x
=========================================四、協同過濾演算法=======================================
優化：
優化：注意去掉了theta和x的添加項
=========================================五、實現細節補充=======================================
實現細節：
如果有user沒有對任何電影評分或者所有評分的電影都是0分，那麼所學習到的參數是零向量，
則預測都是0值，這是不合理的。通過 將評分矩陣減去其行均值再進行線性回歸來「避免」這種情況
=========================================六、一點思考==========================================
協同過濾那塊，同時優化theta、x，這樣得到的theta、x還有特定的意義<比如：x是否還表徵對影視類型的喜愛與否>沒有？
回歸中，在x數據上不添加1-feature是不是因為後來引入的平均值化；如果不是，那會對結果有什麼影響？
用x-feature來表徵一個movie，x-feature的各分量的可解釋性；應該會有一部分user應為演員的緣故有一些"偏愛"。
這里，講的"基於內容的推薦"與"協同過濾"跟以前對這兩個詞的認識/所指內容不同，查清楚、搞明白。
這周還會再更一篇關於此節課的演算法實現，會對上述部分問題做出回答。
❷ 豆瓣評分是什麼很專業嗎
國內的一個電影評價網站，最開始是面向小眾的，但後來開放注冊了。
開放注冊前，豆瓣的評分是比較靠譜的，但開放注冊後，豆瓣的評分就有些不太靠譜了。
專業談不上，畢竟現在什麼人都可以去豆瓣打分，就和什麼人都可以上知乎寫答案一樣了。
目前全球范圍內，其實都沒有一個網站談的上專業，IMDB這個網站是最接近專業這個詞的了，但其實也不能算專業。想看真正的專業，你得去影視學院問一些教授級的人物。
豆瓣之所以還在國內被多數人認可，是因為兩個原因：
1.同行襯托，像是網路影評，有些垃圾片都能有6-7分，暴風的影評，沒幾個人評分，有些好片無分數，騰訊的影評，出了名的給錢就9分，沒錢評你 媽......這些更加垃圾的評分網站讓豆瓣得以存活至今。
2.掃雷劇功能准確，豆瓣對垃圾電影評分准確，豆瓣上4分以下的電影，要麼劇情不好，要麼演員演技有問題導致觀感差，要麼是抄襲的，要麼就乾脆是洗錢的，總而言之，豆瓣雖然對另類電影評價失當，高分電影也未必值那個分，但豆瓣4分以下的電影，有一部算一部，的確都是垃圾，這種掃雷功能也深受大眾支持。
❸ 豆瓣電影數據分析
這篇報告是我轉行數據分析後的第一篇報告，當時學完了Python，SQL，BI以為再做幾個項目就能找工作了，事實上……分析思維、業務，這兩者遠比工具重要的多。一個多月後回過頭來看，這篇報告雖然寫得有模有樣，但和數據分析報告還是有挺大差別的，主要原因在於：a.只是針對豆瓣電影數據分析太過寬泛了，具體關鍵指標到底是哪些呢？；b.沒有一個確切有效的分析模型/框架，會有種東一塊西一塊的拼接感。
即便有著這些缺點，我還是想把它掛上來，主要是因為：1.當做Pandas與爬蟲(Selenium+Request)練手，總得留下些證明；2.以豆瓣電影進行分析確實很難找到一條業務邏輯線支撐，總體上還是描述統計為主；3.比起網上能搜到的其他豆瓣電影數據分析，它更為詳細，可視化效果也不錯；
本篇報告旨在針對豆瓣電影1990-2020的電影數據進行分析，首先通過編寫Python網路爬蟲爬取了51375條電影數據，採集對象包括：電影名稱、年份、導演、演員、類型、出品國家、語言、時長、評分、評論數、不同評價佔比、網址。經過去重、清洗，最後得到29033條有效電影數據。根據電影評分、時長、地區、類型進行分析，描述了評分與時長、類型的關系，並統計了各個地區電影數量與評分。之後，針對演員、導演對數據進行聚合，給出產量與評分最高的名單。在分析過程中，還發現電影數量今年逐步增加，但評分下降，主要原因是中國地區今年低質量影視作品的增加。
另外，本篇報告還爬取了電影票房網（ http://58921.com/ ）1995-2020年度國內上映的影片票房，共採集4071條數據，其中3484條有效。進一步，本文分析了國內院線電影票房年度變化趨勢，票房與評分、評價人數、時長、地區的關系，票房與電影類型的關聯，並給出了票房最高的導演、演員與電影排名。
清洗、去重後，可以看到29033條數據長度、評分、評論數具有以下特點：
結合圖1(a)(b)看，可以看到電影數據時長主要集中在90-120分鍾之間，向兩極呈現階梯狀遞減，將數據按照短(60-90分鍾)，中(90-120分鍾)，長(120-150分鍾)，特長(>150分鍾)劃分，各部分佔比為21.06%, 64.15%, 11.95%, 2.85%。
結合圖2(a)看，可以看到我們採集到的電影數據評分主要集中在6.0-8.0之間，向兩極呈現階梯狀遞減，在此按照評分劃分區間：2.0-4.0為口碑極差，4.0-6.0為口碑較差，6.0-7.0為口碑尚可，7.0-8.0為口碑較好，8.0-10.0為口碑極佳。
這5種電影數據的佔比分別為：5.78%, 23.09%, 30.56%, 29.22%, 11.34%
再將評分數據細化到每年進行觀察，可以發現，30年內電影數量與年度電影均分呈反相關，年度均分整體呈現下降趨勢，2016年電影均分最低，電影數量最多。
進一步做出每個年份下不同評級等級的電影數據佔比，可以發現，近年來，評分在[2.0,6.0)的電影數據佔比有著明顯提升，評分在[6.0,7.0)的數據佔比不變，評分在[7.0,10.0)的數據佔比減少，可能原因有：
對照圖5，可以發現，評分與時長、評論人數的分布大致呈現漏斗狀，高分電影位於漏鬥上部，低分電影位於漏斗下部。這意味著，如果一部電影的評論人數很多（特別是超過30w人觀影），時長較長(大於120min)，那麼它大概率是一部好電影。
根據各個國家的電影數量作圖，可以得到圖6，列出電影數量前十的國家可得表格2，發現美國在電影數量上占第一，達到8490部，中國其次，達6222部。此外，法國，英國，日本的電影數量也超過1000，其餘各國電影數量相對較少。這可以說明美國電影有著較大的流量輸入，在中國產生了較大的影響。
進一步分析各國電影的質量，依據評分繪制評分箱線圖可得圖7，在電影數量排名前20的國家中：
接著我們可以探索，哪個國家的電影對豆瓣評分隨年份下降的貢獻最大，考慮到電影數量對應著評分的權重。根據上述各國的電影評分表現，我們可以猜測電影數量較多的國家可能對年度均分的下降有較大影響。於是，我們再計算出這些國家的年度電影均分，並與整體均分進行比較分析。
再作出中國大陸，中國台灣，中國香港的均分箱線圖圖9(a)，可以看到，大陸電影均分低於港台電影，且存在大量低分電影拉低了箱體的位置。
分析相關性可得，大陸、香港、台灣電影年度均分與全部評分關聯度分別為R=0.979,0.919,0.822，說明濾去台灣和香港電影，大陸電影年度均分的變化趨勢與全部評分變化更接近。圖9(b)可以進一步反映這一點。
可以看到，大部分類型集中在X×Y=[10000,30000]×[6.00,7.50]的區間范圍內，劇情、喜劇、愛情、犯罪、動作類電影數量上較多，說明這些題材的電影是近三十年比較熱門的題材，其中劇情類電影佔比最多，音樂、傳記類電影平均得分更高，但在數量上較少，動作、驚悚類電影評論人數雖多，但評價普遍偏低。
除此之外，還有兩塊區域值得關註：
根據類型對電影數據進行聚合，整理得到各類型電影評分的時間序列，計算它們與整體均分時間序列的相關性，可得表格4與圖11，可以看到劇情，喜劇，懸疑這三種類型片與總分趨勢變化相關性最強，同時劇情、喜劇類電影在電影數量上也最多，因此可以認為這兩類電影對於下跌趨勢影響最大，但其餘類別電影的相關性也達到了0.9以上，說明幾種熱門的電影得分的變化趨勢與總體均分趨勢一致。
前面已經得知，中美兩國電影佔比最高，且對於均分時間序列的影響最大。在此，進一步對兩國電影進行類型分析，選取幾種主要的類型（數量上較多，且相關性較高）進行分析，分別是劇情，喜劇，愛情，驚悚，動作，懸疑類電影，繪制近年來幾類電影的數量變化柱狀圖與評分箱線圖可得圖12,13,14,15。
對導演與演員進行聚合，得到數據中共有15011名導演，46223名演員。按照作品數量在(0,2], (2,5], (5,10], (10,20], (20,999]進行分組統計導演數量，可以發現，15009名導演中有79.08%只拍過1-2部作品，46220名演員中有75.93%只主演過1-2部作品。忽略那些客串、跑龍套的演員，數據總體符合二八定律，即20%的人占據了行業內的大量資源。
在此，可以通過電影得分、每部電影評論人數以及電影數目尋找優秀的電影導演與演員。這三項指標分別衡量了導演/演員的創作水平，人氣以及產能。考慮到電影數據集中可能有少量影視劇/劇場版動畫，且影視劇/劇場版動畫受眾少於電影，但得分普遍要高於電影，這里根據先根據每部電影評論數量、作品數量來篩選導演/演員，再根據電影得分進行排名，並取前30名進行作圖，可得圖17,18。
結合電影票房網（ http://58921.com/ ）採集到的3353條票房數據，與豆瓣數據按照電影名稱進行匹配，可以得到1995-2020年在中國大陸上映的電影信息，分別分析中國內地電影的數量、票房變化趨勢，票房與評分、評價人數、時長、地區以及類型的關系，此外還給出了不同導演與演員的票房表現以及影片票房排名。
如圖19所示，國內票房數據與上映的電影數量逐年遞增，2020年記錄的只是上半年的數據，且由於受疫情影響，票房與數量驟減。這說明在不發生重大事件的情況下，國內電影市場規模正在不斷擴大。
對電影數據根據類型進行聚合，繪制散點圖21，可以發現：
提取導演/演員姓名，對導演/演員欄位進行聚合，計算每個導演/演員的票房總和，上映電影均分、以及執導/參與電影數目進行計算，作出票房總和前30名的導演/演員，可得圖22,23，圖中導演/演員標號反映了票房排名，具體每位導演/演員的上映影片數量、均分、每部電影評價人數、平均時長與總票房在表5、表6中給出。
最後根據電影票房進行排名，得到票房排名前20的電影如表格7所示，可以看到絕大部分上榜電影都是中國電影，索引序號為3、10、12、14、18、19為美國電影，這也反映了除國產電影之外，好萊塢大片占據較大的市場。
本篇報告採集了1990-2020年間豆瓣電影29033組有效數據，從豆瓣電影的評分、時長、地區、類型、演員、導演以及票房等信息進行分析評價，主要有以下結論：
❹ 電影評分數據統計分析的作用和意義
通過觀眾對電影的評分的分析，可以在一定程度上給電影行業啟發。數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，將它們加以匯總和理解並消化，以求最大化地開發數據的功能，發揮數據的作用。數據分析是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。
❺ .利用python獲得豆瓣電影前30部電影的中文片名,排名,導演,主演,上映時間
熱門頻道
首頁
博客
研修院
VIP
APP
問答
下載
社區
推薦頻道
活動
招聘
專題
打開CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
打開APP
python 網路爬蟲 1.2 獲取豆瓣TOP250電影的中英文名、港台名、導演、上映年份、電影分類以及評分，將數據存入文檔。 原創
2021-07-19 01:03:15
2點贊
zynaln
碼齡8年
關注
題目：
獲取豆瓣TOP250電影的中英文名、港台名、導演、上映年份、電影分類以及評分，將數據存入文檔。
代碼：
輸出結果：
文章知識點與官方知識檔案匹配
Python入門技能樹網路爬蟲urllib
201761 人正在系統學習中
打開CSDN APP，看更多技術內容
最新發布 用python爬取豆瓣影評及影片信息(評論時間、用戶ID、評論內容)
用python爬取豆瓣影評及影片信息(評論時間、用戶ID、評論內容)
繼續訪問
python
寫評論
7
14
2
踩
分享