㈠ Python pandas用法
在Python中，pandas是基於NumPy數組構建的，使數據預處理、清洗、分析工作變得更快更簡單。pandas是專門為處理表格和混雜數據設計的，而NumPy更適合處理統一的數值數組數據。
使用下面格式約定，引入pandas包：
pandas有兩個主要數據結構：Series和DataFrame。
Series是一種類似於一維數組的對象，它由 一組數據 （各種NumPy數據類型）以及一組與之相關的 數據標簽（即索引） 組成，即index和values兩部分，可以通過索引的方式選取Series中的單個或一組值。
pd.Series(list,index=[ ]) ，第二個參數是Series中數據的索引，可以省略。
Series類型索引、切片、運算的操作類似於ndarray，同樣的類似Python字典類型的操作，包括保留字in操作、使用.get()方法。
Series和ndarray之間的主要區別在於Series之間的操作會根據索引自動對齊數據。
DataFrame是一個表格型的數據類型，每列值類型可以不同，是最常用的pandas對象。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典（共用同一個索引）。DataFrame中的數據是以一個或多個二維塊存放的（而不是列表、字典或別的一維數據結構）。
pd.DataFrame(data,columns = [ ],index = [ ]) ：columns和index為指定的列、行索引，並按照順序排列。
如果創建時指定了columns和index索引，則按照索引順序排列，並且如果傳入的列在數據中找不到，就會在結果中產生缺失值：
數據索引 ：Series和DataFrame的索引是Index類型，Index對象是不可修改，可通過索引值或索引標簽獲取目標數據，也可通過索引使序列或數據框的計算、操作實現自動化對齊。索引類型index的常用方法：
重新索引啟改 ：能夠改變、重排Series和DataFrame索引，會創建一個新對象，如果某個索引值當前不存在，就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, ) ：index/columns為新的行列自定義索引；fill_value為用於填充缺失位置的值；method為填充方法，ffill當前值向前填充，bfill向後填充；limit為最大填充量； 默認True，生成新的對象，False時，新舊相等不復制。
刪除指定索引 ：默認返回的是一個新對象。
.drop() ：能夠刪除Series和DataFrame指定行或列索引。
刪除一行或者一列時，用單引號指定索引，刪除多行時用列表指定索引。
如果刪除的是列索引，需要增加axis=1或axis='columns'作為參數。
增加inplace=True作為參數，可以就地修改對象，不會返回新的對象。
在pandas中，有多個方法可以選取和重新組合數據。對於DataFrame，表5-4進行了總結
適用於Series和DataFrame的基本統計分析函數悄穗判 ：傳入axis='columns'或axis=1將會按行族團進行運算。
.describe() ：針對各列的多個統計匯總，用統計學指標快速描述數據的概要。
.sum() ：計算各列數據的和
.count() ：非NaN值的數量
.mean( )/.median() ：計算數據的算術平均值、算術中位數
.var()/.std() ：計算數據的方差、標准差
.corr()/.cov() ：計算相關系數矩陣、協方差矩陣，是通過參數對計算出來的。Series的corr方法用於計算兩個Series中重疊的、非NA的、按索引對齊的值的相關系數。DataFrame的corr和cov方法將以DataFrame的形式分別返回完整的相關系數或協方差矩陣。
.corrwith() ：利用DataFrame的corrwith方法，可以計算其列或行跟另一個Series或DataFrame之間的相關系數。傳入一個Series將會返回一個相關系數值Series（針對各列進行計算），傳入一個DataFrame則會計算按列名配對的相關系數。
.min()/.max() ：計算數據的最小值、最大值
.diff() ：計算一階差分，對時間序列很有效
.mode() ：計算眾數，返回頻數最高的那（幾）個
.mean() ：計算均值
.quantile() ：計算分位數（0到1）
.isin() ：用於判斷矢量化集合的成員資格，可用於過濾Series中或DataFrame列中數據的子集
適用於Series的基本統計分析函數，DataFrame[列名]返回的是一個Series類型。
.unique() ：返回一個Series中的唯一值組成的數組。
.value_counts() ：計算一個Series中各值出現的頻率。
.argmin()/.argmax() ：計算數據最大值、最小值所在位置的索引位置（自動索引）
.idxmin()/.idxmax() ：計算數據最大值、最小值所在位置的索引（自定義索引）
pandas提供了一些用於將表格型數據讀取為DataFrame對象的函數。下表對它們進行了總結，其中read_csv()、read_table()、to_csv()是用得最多的。
在數據分析和建模的過程中，相當多的時間要用在數據准備上：載入、清理、轉換以及重塑。
在許多數據分析工作中，缺失數據是經常發生的。對於數值數據，pandas使用浮點值NaN（np.nan）表示缺失數據，也可將缺失值表示為NA（Python內置的None值）。
替換值
.replace(old, new) ：用新的數據替換老的數據，如果希望一次性替換多個值，old和new可以是列表。默認會返回一個新的對象，傳入inplace=True可以對現有對象進行就地修改。
刪除重復數據
利用函數或字典進行數據轉換
df.head()：查詢數據的前五行
df.tail()：查詢數據的末尾5行
pandas.cut()
pandas.qcut() 基於分位數的離散化函數。基於秩或基於樣本分位數將變數離散化為等大小桶。
pandas.date_range() 返回一個時間索引
df.apply() 沿相應軸應用函數
Series.value_counts() 返回不同數據的計數值
df.aggregate()
df.reset_index() 重新設置index，參數drop = True時會丟棄原來的索引，設置新的從0開始的索引。常與groupby()一起用
numpy.zeros()
㈡ python(pandas模塊)
1.什麼是pandas? numpy模塊和pandas模塊都是用於處理數據頃並慎的模塊。 numpy主要用於針對數組進行統蔽磨計計算,處理數字數雀敬據比較方便。 pandas除了可以處理數字數據,還可...
㈢ 數據分析——實戰|IMDB-Movie分析案例
本數據報告以IMDB-Movie為數據集，通過相關的指標對電影進行分析，具體指標包括：電影時長和評分分布，評分平均數，導演人數，演員人數等，本例主要圍繞pandas在實際中的應用為主（字元串離散化、數據合並、數據分組聚合，數據索引）。
鏈接：https://pan..com/s/1P6MF3JEMJdC1I-sg5bCsAw
提取碼：enz7
1.電影時長分布
2.評分分布
3.評分平均數
4.導演人數
5.演員人數
結果再次不顯示了
一部電影多個分類，要統計電影分類情況
參考鏈接：https://mp.weixin.qq.com/s?__biz=MzIyNTg3ODM0Ng==&mid=2247483699&idx=1&sn=&chksm=b61925&token=498825246&lang=zh_CN&scene=21#wechat_redirect
㈣ 豆瓣電影數據分析
這篇報告是我轉行數據分析後的第一篇報告，當時學完了Python，SQL，BI以為再做幾個項目就能找工作了，事實上……分析思維、業務，這兩者遠比工具重要的多。一個多月後回過頭來看，這篇報告雖然寫得有模有樣，但和數據分析報告還是有挺大差別的，主要原因在於：a.只是針對豆瓣電影數據分析太過寬泛了，具體關鍵指標到底是哪些呢？；b.沒有一個確切有效的分析模型/框架，會有種東一塊西一塊的拼接感。
即便有著這些缺點，我還是想把它掛上來，主要是因為：1.當做Pandas與爬蟲(Selenium+Request)練手，總得留下些證明；2.以豆瓣電影進行分析確實很難找到一條業務邏輯線支撐，總體上還是描述統計為主；3.比起網上能搜到的其他豆瓣電影數據分析，它更為詳細，可視化效果也不錯；
本篇報告旨在針對豆瓣電影1990-2020的電影數據進行分析，首先通過編寫Python網路爬蟲爬取了51375條電影數據，採集對象包括：電影名稱、年份、導演、演員、類型、出品國家、語言、時長、評分、評論數、不同評價佔比、網址。經過去重、清洗，最後得到29033條有效電影數據。根據電影評分、時長、地區、類型進行分析，描述了評分與時長、類型的關系，並統計了各個地區電影數量與評分。之後，針對演員、導演對數據進行聚合，給出產量與評分最高的名單。在分析過程中，還發現電影數量今年逐步增加，但評分下降，主要原因是中國地區今年低質量影視作品的增加。
另外，本篇報告還爬取了電影票房網（ http://58921.com/ ）1995-2020年度國內上映的影片票房，共採集4071條數據，其中3484條有效。進一步，本文分析了國內院線電影票房年度變化趨勢，票房與評分、評價人數、時長、地區的關系，票房與電影類型的關聯，並給出了票房最高的導演、演員與電影排名。
清洗、去重後，可以看到29033條數據長度、評分、評論數具有以下特點：
結合圖1(a)(b)看，可以看到電影數據時長主要集中在90-120分鍾之間，向兩極呈現階梯狀遞減，將數據按照短(60-90分鍾)，中(90-120分鍾)，長(120-150分鍾)，特長(>150分鍾)劃分，各部分佔比為21.06%, 64.15%, 11.95%, 2.85%。
結合圖2(a)看，可以看到我們採集到的電影數據評分主要集中在6.0-8.0之間，向兩極呈現階梯狀遞減，在此按照評分劃分區間：2.0-4.0為口碑極差，4.0-6.0為口碑較差，6.0-7.0為口碑尚可，7.0-8.0為口碑較好，8.0-10.0為口碑極佳。
這5種電影數據的佔比分別為：5.78%, 23.09%, 30.56%, 29.22%, 11.34%
再將評分數據細化到每年進行觀察，可以發現，30年內電影數量與年度電影均分呈反相關，年度均分整體呈現下降趨勢，2016年電影均分最低，電影數量最多。
進一步做出每個年份下不同評級等級的電影數據佔比，可以發現，近年來，評分在[2.0,6.0)的電影數據佔比有著明顯提升，評分在[6.0,7.0)的數據佔比不變，評分在[7.0,10.0)的數據佔比減少，可能原因有：
對照圖5，可以發現，評分與時長、評論人數的分布大致呈現漏斗狀，高分電影位於漏鬥上部，低分電影位於漏斗下部。這意味著，如果一部電影的評論人數很多（特別是超過30w人觀影），時長較長(大於120min)，那麼它大概率是一部好電影。
根據各個國家的電影數量作圖，可以得到圖6，列出電影數量前十的國家可得表格2，發現美國在電影數量上占第一，達到8490部，中國其次，達6222部。此外，法國，英國，日本的電影數量也超過1000，其餘各國電影數量相對較少。這可以說明美國電影有著較大的流量輸入，在中國產生了較大的影響。
進一步分析各國電影的質量，依據評分繪制評分箱線圖可得圖7，在電影數量排名前20的國家中：
接著我們可以探索，哪個國家的電影對豆瓣評分隨年份下降的貢獻最大，考慮到電影數量對應著評分的權重。根據上述各國的電影評分表現，我們可以猜測電影數量較多的國家可能對年度均分的下降有較大影響。於是，我們再計算出這些國家的年度電影均分，並與整體均分進行比較分析。
再作出中國大陸，中國台灣，中國香港的均分箱線圖圖9(a)，可以看到，大陸電影均分低於港台電影，且存在大量低分電影拉低了箱體的位置。
分析相關性可得，大陸、香港、台灣電影年度均分與全部評分關聯度分別為R=0.979,0.919,0.822，說明濾去台灣和香港電影，大陸電影年度均分的變化趨勢與全部評分變化更接近。圖9(b)可以進一步反映這一點。
可以看到，大部分類型集中在X×Y=[10000,30000]×[6.00,7.50]的區間范圍內，劇情、喜劇、愛情、犯罪、動作類電影數量上較多，說明這些題材的電影是近三十年比較熱門的題材，其中劇情類電影佔比最多，音樂、傳記類電影平均得分更高，但在數量上較少，動作、驚悚類電影評論人數雖多，但評價普遍偏低。
除此之外，還有兩塊區域值得關註：
根據類型對電影數據進行聚合，整理得到各類型電影評分的時間序列，計算它們與整體均分時間序列的相關性，可得表格4與圖11，可以看到劇情，喜劇，懸疑這三種類型片與總分趨勢變化相關性最強，同時劇情、喜劇類電影在電影數量上也最多，因此可以認為這兩類電影對於下跌趨勢影響最大，但其餘類別電影的相關性也達到了0.9以上，說明幾種熱門的電影得分的變化趨勢與總體均分趨勢一致。
前面已經得知，中美兩國電影佔比最高，且對於均分時間序列的影響最大。在此，進一步對兩國電影進行類型分析，選取幾種主要的類型（數量上較多，且相關性較高）進行分析，分別是劇情，喜劇，愛情，驚悚，動作，懸疑類電影，繪制近年來幾類電影的數量變化柱狀圖與評分箱線圖可得圖12,13,14,15。
對導演與演員進行聚合，得到數據中共有15011名導演，46223名演員。按照作品數量在(0,2], (2,5], (5,10], (10,20], (20,999]進行分組統計導演數量，可以發現，15009名導演中有79.08%只拍過1-2部作品，46220名演員中有75.93%只主演過1-2部作品。忽略那些客串、跑龍套的演員，數據總體符合二八定律，即20%的人占據了行業內的大量資源。
在此，可以通過電影得分、每部電影評論人數以及電影數目尋找優秀的電影導演與演員。這三項指標分別衡量了導演/演員的創作水平，人氣以及產能。考慮到電影數據集中可能有少量影視劇/劇場版動畫，且影視劇/劇場版動畫受眾少於電影，但得分普遍要高於電影，這里根據先根據每部電影評論數量、作品數量來篩選導演/演員，再根據電影得分進行排名，並取前30名進行作圖，可得圖17,18。
結合電影票房網（ http://58921.com/ ）採集到的3353條票房數據，與豆瓣數據按照電影名稱進行匹配，可以得到1995-2020年在中國大陸上映的電影信息，分別分析中國內地電影的數量、票房變化趨勢，票房與評分、評價人數、時長、地區以及類型的關系，此外還給出了不同導演與演員的票房表現以及影片票房排名。
如圖19所示，國內票房數據與上映的電影數量逐年遞增，2020年記錄的只是上半年的數據，且由於受疫情影響，票房與數量驟減。這說明在不發生重大事件的情況下，國內電影市場規模正在不斷擴大。
對電影數據根據類型進行聚合，繪制散點圖21，可以發現：
提取導演/演員姓名，對導演/演員欄位進行聚合，計算每個導演/演員的票房總和，上映電影均分、以及執導/參與電影數目進行計算，作出票房總和前30名的導演/演員，可得圖22,23，圖中導演/演員標號反映了票房排名，具體每位導演/演員的上映影片數量、均分、每部電影評價人數、平均時長與總票房在表5、表6中給出。
最後根據電影票房進行排名，得到票房排名前20的電影如表格7所示，可以看到絕大部分上榜電影都是中國電影，索引序號為3、10、12、14、18、19為美國電影，這也反映了除國產電影之外，好萊塢大片占據較大的市場。
本篇報告採集了1990-2020年間豆瓣電影29033組有效數據，從豆瓣電影的評分、時長、地區、類型、演員、導演以及票房等信息進行分析評價，主要有以下結論：
㈤ Python數據分析： 初識Pandas，理解Pandas實現和原理
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理
01 重要的前言
這段時間和一些做數據分析的同學閑聊，我發現數據分析技能入門階段存在一個普遍性的問題，很多憑著興趣入坑的同學，都能夠很快熟悉Python基礎語法，然後不約而同的一頭扎進《利用Python進行數據分析》這本經典之中，硬著頭皮啃完之後，好像自己什麼都會了一點，然而實際操作起來既不知從何操起，又漏洞百出。
至於原因嘛，理解不夠，實踐不夠是兩條老牌的攔路虎，只能靠自己來克服。還有一個非常有意思且經常被忽視的因素——陷入舉三反一的懵逼狀態。
什麼意思呢？假如我是個旱鴨子，想去學游泳，教練很認真的給我跡明虛剖析了蛙泳的動作，扶著我的腰讓我在水裡劃拉了5分鍾，接著馬上給我講解了蝶泳，又是劃拉了5分鍾，然後又硬塞給我潛泳的姿勢，依然是劃拉5分鍾。最後，教練一下子把我丟進踩不到底的泳池，給我吶喊助威。
作為一個還沒入門的旱鴨子，教練傾囊授了我3種游泳技巧，讓我分別實踐了5分鍾。這樣做的結果就是我哪一種游泳技巧也沒學會，只學會了喝水。當一個初學者一開始就陷入針對單個問題的多種解決方法，而每一種方法的實踐又淺嘗輒止，在面對具體問題時往往會手忙腳亂。
拿Pandas來說，它的多種構造方式，多種索引方式以及類似效果的多種實現方法，很容易把初學者打入舉三反一的懵逼狀態。所以，盡量避開這個坑也是我寫Pandas基礎系列的初衷，希望通過梳理和精簡知識點的方式，給需要的同學一些啟發。目前暫定整個基礎系列分為4篇，基礎篇過後便是有趣的實戰篇。
下面開始進入正題（我真是太嘮叨了）。
02 Pandas簡介
江湖上流槐並傳著這么一句話——分析不識潘大師（PANDAS），縱是老手也枉然。
Pandas是基於Numpy的專業數據分析工具，可以靈活高效的處理各種數據集，也是我們後期分析案例的神器。它提供了兩種類型的數據結構，分別是DataFrame和Series，我們可以簡單粗暴的把DataFrame理解為Excel裡面的一張表，而Series就是表中的某一列，後面學習和用到的所有Pandas騷操作，都是基於這些表和列進行的操作（關於Pandas和Excel的形象關系，這里推薦我的好朋友張俊紅寫的《對比EXCEL，輕松學習Python數據分析》)。
這里有一點需要強調，Pandas和Excel、SQL相比，只是調用和處理數據的方式變了，核心都是對源數據進行一系列的處理，在正式處理之前，更重要的是謀定而後動，明確分析的意義，理清分析思路之後再處理和分析數據，往往事半功倍。
03 創建、讀取和存儲
1、創建
在Pandas中我們想要構造下面這一張表應該如何操作呢？
別忘了，第一步一定是先導入我們的庫——import pandas as pd
構造DataFrame最常用的方式是字典+列表，語句很簡單，先是字典外括，然後依次打出每一列標題及其對應的列值（此處一定要用列表），這里列的順序並不重要：
左邊是jupyter notebook中dataframe的樣子，如果對應到excel中，他就是右邊表格的樣子，通過改變columns,index和values的值來控制數據。
PS,如果我們在姿燃創建時不指定index，系統會自動生成從0開始的索引。
2、 讀取
更多時候，我們是把相關文件數據直接讀進PANDAS中進行操作，這里介紹兩種非常接近的讀取方式，一種是CSV格式的文件，一種是EXCEL格式（.xlsx和xls後綴）的文件。
讀取csv文件：
engine是使用的分析引擎，讀取csv文件一般指定python避免中文和編碼造成的報錯。而讀取Excel文件，則是一樣的味道：
非常easy，其實read_csv和read_excel還有一些參數，比如header、sep、names等，大家可以做額外了解。實踐中數據源的格式一般都是比較規整的，更多情況是直接讀取。
3、存儲
存儲起來一樣非常簡單粗暴且相似：
04 快速認識數據
這里以我們的案例數據為例，迅速熟悉查看N行，數據格式概覽以及基礎統計數據。
1、查看數據，掐頭看尾
很多時候我們想要對數據內容做一個總覽，用df.head()函數直接可以查看默認的前5行，與之對應，df.tail()就可以查看數據尾部的5行數據，這兩個參數內可以傳入一個數值來控制查看的行數，例如df.head(10)表示查看前10行數據。
2、 格式查看
df.info()幫助我們一步摸清各列數據的類型，以及缺失情況：
從上面直接可以知道數據集的行列數，數據集的大小，每一列的數據類型，以及有多少條非空數據。
3、統計信息概覽
快速計算數值型數據的關鍵統計指標，像平均數、中位數、標准差等等。
我們本來有5列數據，為什麼返回結果只有兩列？那是因為這個操作只針對數值型的列。其中count是統計每一列的有多少個非空數值，mean、std、min、max對應的分別是該列的均值、標准差、最小值和最大值，25%、50%、75%對應的則是分位數。
05 列的基本處理方式
這里，我們採用SQL四大法寶的邏輯來簡單梳理針對列的基本處理方式——增、刪、選、改。
溫馨提示：使用Pandas時，盡量避免用行或者EXCEL操作單元格的思維來處理數據，要逐漸養成一種列向思維，每一列是同宗同源，處理起來是嗖嗖的快。
1、增
增加一列，用df[『新列名』] = 新列值的形式，在原數據基礎上賦值即可：
2、刪：
我們用drop函數制定刪除對應的列，axis = 1表示針對列的操作，inplace為True，則直接在源數據上進行修改，否則源數據會保持原樣。
3、選：
想要選取某一列怎麼辦？df[『列名』]即可：
選取多列呢？需要用列表來傳遞：df[[『第一列』,『第二列』,『第三列』…]]
4、 改：
好事多磨，復雜的針對特定條件和行列的篩選、修改，放在後面結合案例細講，這里只講一下最簡單的更改：df[『舊列名』] = 某個值或者某列值，就完成了對原列數值的修改。
06 常用數據類型及操作
1、字元串
字元串類型是最常用的格式之一了，Pandas中字元串的操作和原生字元串操作幾乎一毛一樣，唯一不同的是需要在操作前加上".str"。
小Z溫馨提示：我們最初用df2.info()查看數據類型時，非數值型的列都返回的是object格式，和str類型深層機制上的區別就不展開了，在常規實際應用中，我們可以先理解為object對應的就是str格式，int64對應的就是int格式，float64對應的就是float格式即可。
在案例數據中，我們發現來源明細那一列，可能是系統導出的歷史遺留問題，每一個字元串前面都有一個「-」符號，又丑又無用，所以把他給拿掉：
一般來說清洗之後的列是要替換掉原來列的：
2、 數值型
數值型數據，常見的操作是計算，分為與單個值的運算，長度相等列的運算。
以案例數據為例，源數據訪客數我們是知道的，現在想把所有渠道的訪客都加上10000，怎麼操作呢？
只需要選中訪客數所在列，然後加上10000即可，pandas自動將10000和每一行數值相加，針對單個值的其他運算（減乘除）也是如此。
列之間的運算語句也非常簡潔。源數據是包含了訪客數、轉化率和客單價，而實際工作中我們對每個渠道貢獻的銷售額更感興趣。（銷售額 = 訪客數 X 轉化率 X 客單價）
對應操作語句：df[『銷售額』] = df[『訪客數』] * df[『轉化率』] * df[『客單價』]
但為什麼瘋狂報錯？
導致報錯的原因，是數值型數據和非數值型數據相互計算導致的。PANDAS把帶「%」符號的轉化率識別成字元串類型，我們需要先拿掉百分號，再將這一列轉化為浮點型數據：
要注意的是，這樣操作，把9.98%變成了9.98，所以我們還需要讓支付轉化率除以100，來還原百分數的真實數值：
然後，再用三個指標相乘計算銷售額：
3、時間類型
PANDAS中時間序列相關的水非常深，這里只對日常中最基礎的時間格式進行講解，對時間序列感興趣的同學可以自行查閱相關資料，深入了解。
以案例數據為例，我們這些渠道數據，是在2019年8月2日提取的，後面可能涉及到其他日期的渠道數據，所以需要加一列時間予以區分，在EXCEL中常用的時間格式是』2019-8-3』或者』2019/8/3』，我們用PANDAS來實現一下：
在實際業務中，一些時候PANDAS會把文件中日期格式的欄位讀取為字元串格式，這里我們先把字元串』2019-8-3』賦值給新增的日期列，然後用to_datetime()函數將字元串類型轉換成時間格式：
轉換成時間格式（這里是datetime64）之後，我們可以用處理時間的思路高效處理這些數據，比如，我現在想知道提取數據這一天離年末還有多少天（『2019-12-31』），直接做減法（該函數接受時間格式的字元串序列，也接受單個字元串）：
㈥ Pandas實現groupby分組聚合後不同列數據統計
電影評分數據集（UserID，MovieID，Rating，Timestamp）
聚合模橘後單列-單指標統計祥燃：每個MovieID的平均評分
聚合後單列-多指標統計：每個MoiveID的最高評分、最低評分、平均評分
聚合後多列-多指標統計：每個MoiveID的評分人數，最高評分、最低評分、平均評分
記憶：agg(新列名=函數)、agg(新列名=(原列名，函數))、agg({"原列名"：函數/列表})
agg函數的兩種形式，等號代表「把結果賦值給新列」，字典/元組代表「對這個列運旦宴團用這些函數」
每個MoiveID的評分人數，最高評分、最低評分、平均評分
每個MoiveID的評分人數，最高評分、最低評分、平均評分
㈦ 利用 Python 分析 MovieLens 1M 數據集
MovieLens數據集是一個關於電影評分的數據集，裡麵包含了從IMDB, The Movie DataBase上面得到的用戶對電影的評分信息，詳細請看下面的介紹。
文件裡面的內容是幫助你如何通過網站id在對應網站上找到對應的電影鏈接的。
movieId, imdbId, tmdbId
表示這部電影在movielens上的id，可以通過鏈接 https://movielens.org/movies/(movieId) 來得到。
表示這部電影在imdb上的id，可以通過鏈接 http://www.imdb.com/title/(imdbId)/
來得到。
movieId, title, genres
文件里包含了一部電影的id和標題，以及該電影的類別
movieId, title, genres
每部電影的id
電影的標題
電影的類別（詳細分類見readme.txt）
文件裡面的內容包含了每一個用戶對於每一部電影的評分。
數據排序的順序按照userId，movieId排列的。
文件裡面的內容包含了每一個用戶對於每一個電影的分類
數據排序的順序按照userId，movieId排列的。
=======
該數據集（ml-latest-small）描述了電影推薦服務[MovieLens]（ http://movielens.org ）的5星評級和自由文本標記活動。它包含9742部電影的100836個評級和3683個標簽應用程序。這些數據由610位用戶在1996年3月29日到2018年9月24日之間創建。該數據集於2018年9月26日生成。
隨機選擇用戶以包含在內。所有選定的用戶評分至少20部電影。不包括人口統計信息。每個用戶都由一個id表示，並且不提供其他信息。
數據包含在 links.csv ， movies.csv ， ratings.csv 和 tags.csv 文件中。有關所有這些文件的內容和用法的更多詳細信息如下。
這是一個發展的數據集。因此，它可能會隨著時間的推移而發生變化，並不是共享研究結果的適當數據集。
========
要確認在出版物中使用數據集，請引用以下文件：
========================
數據集文件以[逗號分隔值]文件寫入，並帶有單個標題行。包含逗號（ ， ）的列使用雙引號（```）進行轉義。這些文件編碼為UTF-8。如果電影標題或標簽值中的重音字元（例如Misérables，Les（1995））顯示不正確，確保讀取數據的任何程序（如文本編輯器，終端或腳本）都配置為UTF-8。
MovieLens用戶隨機選擇包含。他們的ID已經匿名化了。用戶ID在 ratings.csv 和 tags.csv 之間是一致的（即，相同的id指的是兩個文件中的同一用戶）。
數據集中僅包含至少具有一個評級或標記的電影。這些電影ID與MovieLens網站上使用的電影ID一致（例如，id 1 對應於URL https://movielens.org/movies/1 ）。電影ID在 ratings.csv ， tags.csv ， movies.csv 和 links.csv 之間是一致的.
通過[pandas.read_csv]將各表轉化為pandas 的DataFrame對象
其中用到的參數為分隔符sep、頭文件header、列名定義names、解析器引擎engine
這里和書上相比多用了engine參數，engine參數有C和Python，C引擎速度更快，而Python引擎目前功能更完整。
可用pandas.merge 將所有數據都合並到一個表中。merge有四種連接方式（默認為inner），分別為
通過索引器查看第一行數據，使用基於標簽的索引.loc或基於位置的索引.iloc
可通過數據透視表( pivot_table )實現
該操作產生了另一個DataFrame，輸出內容為rating列的數據，行標index為電影名稱，列標為性別，aggfunc參數為函數或函數列表（默認為numpy.mean），其中「columns」提供了一種額外的方法來分割數據。
by參數的作用是針對特定的列進行排序（不能對行使用），ascending的作用是確定排序方式，默認為升序
增加一列存放平均得分之差，並對其排序，得到分歧最大且女性觀眾更喜歡的電影
按照電影標題將數據集分為不同的groups，並且用size( )函數得到每部電影的個數（即每部電影被評論的次數），按照從大到小排序，取最大的前20部電影列出如下
按照電影名稱分組，用agg函數通過一個字典{『rating』: [np.size, np.mean]}來按照key即rating這一列聚合，查看每一部電影被評論過的次數和被打的平均分。取出至少被評論過100次的電影按照平均評分從大到小排序，取最大的10部電影。