❶ 学IT的，写了一个电影推荐系统，但是为什么评分预测值大于五
全文以“预测电影评分”例子展开
r(i,j)=0则表明user_j没有对movie_i 没有评分，
推荐系统要做的就是通过预测user_j对这些movie {i|r(i,j)=0}的评分来给user_j 推荐其可能会喜欢的电影<预测评分较高的movie>
=======================================二、基于内容的推荐=======================================
对每个movie_i引入特征x(i)=(x1, x2)，这种特征可能表明user对movie类型的偏好：浪漫or动作等
对于每个user引入一个参数theta，然后对评分矩阵的每列(对应一个user)做线性回归，数据是{ (x(i), y(i,j)) |r(i,j)=1，for some j all i}
像机器学习一样，x(i)添加个1变量x(i)=(1, x1, x2)
那么对于未评分的movie_t，我们可以使用线性回归训练的参数theta与对应特征x(t)做内积来得到其预测评分
对每个用户都训练一个参数theta_j，优化模型如下：
优化算法：注意正则项是不约束x(i)=(1, x1, x2)中1对应的参数theta的第一项theta0，所以k=0与k=1,2分别对待
=======================================三、协同过滤=======================================
现在换个角度：如果知道theta for all user j，如何来预测x(i) = (x1, x2) all i
仍然可以使用线性回归，为训练每个x(i)，需要评分矩阵的第i行数据{ (x(i), y(i,j)) |r(i,j)=1，for some i all j}
theta_j = (0, theta1, theta2) ；theta1=5说明user_j喜欢romance类movie， theta2=5说明user_j喜欢action类movie，只能有一个等于5哦，
我觉得也可以是：theta_j = (0, 4, 1) ；喜欢romance 4 action 1.
对应的优化：
协同过滤：交替优化theta与x
=========================================四、协同过滤算法=======================================
优化：
优化：注意去掉了theta和x的添加项
=========================================五、实现细节补充=======================================
实现细节：
如果有user没有对任何电影评分或者所有评分的电影都是0分，那么所学习到的参数是零向量，
则预测都是0值，这是不合理的。通过 将评分矩阵减去其行均值再进行线性回归来“避免”这种情况
=========================================六、一点思考==========================================
协同过滤那块，同时优化theta、x，这样得到的theta、x还有特定的意义<比如：x是否还表征对影视类型的喜爱与否>没有？
回归中，在x数据上不添加1-feature是不是因为后来引入的平均值化；如果不是，那会对结果有什么影响？
用x-feature来表征一个movie，x-feature的各分量的可解释性；应该会有一部分user应为演员的缘故有一些"偏爱"。
这里，讲的"基于内容的推荐"与"协同过滤"跟以前对这两个词的认识/所指内容不同，查清楚、搞明白。
这周还会再更一篇关于此节课的算法实现，会对上述部分问题做出回答。
❷ 豆瓣评分是什么很专业吗
国内的一个电影评价网站，最开始是面向小众的，但后来开放注册了。
开放注册前，豆瓣的评分是比较靠谱的，但开放注册后，豆瓣的评分就有些不太靠谱了。
专业谈不上，毕竟现在什么人都可以去豆瓣打分，就和什么人都可以上知乎写答案一样了。
目前全球范围内，其实都没有一个网站谈的上专业，IMDB这个网站是最接近专业这个词的了，但其实也不能算专业。想看真正的专业，你得去影视学院问一些教授级的人物。
豆瓣之所以还在国内被多数人认可，是因为两个原因：
1.同行衬托，像是网络影评，有些垃圾片都能有6-7分，暴风的影评，没几个人评分，有些好片无分数，腾讯的影评，出了名的给钱就9分，没钱评你 妈......这些更加垃圾的评分网站让豆瓣得以存活至今。
2.扫雷剧功能准确，豆瓣对垃圾电影评分准确，豆瓣上4分以下的电影，要么剧情不好，要么演员演技有问题导致观感差，要么是抄袭的，要么就干脆是洗钱的，总而言之，豆瓣虽然对另类电影评价失当，高分电影也未必值那个分，但豆瓣4分以下的电影，有一部算一部，的确都是垃圾，这种扫雷功能也深受大众支持。
❸ 豆瓣电影数据分析
这篇报告是我转行数据分析后的第一篇报告，当时学完了Python，SQL，BI以为再做几个项目就能找工作了，事实上……分析思维、业务，这两者远比工具重要的多。一个多月后回过头来看，这篇报告虽然写得有模有样，但和数据分析报告还是有挺大差别的，主要原因在于：a.只是针对豆瓣电影数据分析太过宽泛了，具体关键指标到底是哪些呢？；b.没有一个确切有效的分析模型/框架，会有种东一块西一块的拼接感。
即便有着这些缺点，我还是想把它挂上来，主要是因为：1.当做Pandas与爬虫(Selenium+Request)练手，总得留下些证明；2.以豆瓣电影进行分析确实很难找到一条业务逻辑线支撑，总体上还是描述统计为主；3.比起网上能搜到的其他豆瓣电影数据分析，它更为详细，可视化效果也不错；
本篇报告旨在针对豆瓣电影1990-2020的电影数据进行分析，首先通过编写Python网络爬虫爬取了51375条电影数据，采集对象包括：电影名称、年份、导演、演员、类型、出品国家、语言、时长、评分、评论数、不同评价占比、网址。经过去重、清洗，最后得到29033条有效电影数据。根据电影评分、时长、地区、类型进行分析，描述了评分与时长、类型的关系，并统计了各个地区电影数量与评分。之后，针对演员、导演对数据进行聚合，给出产量与评分最高的名单。在分析过程中，还发现电影数量今年逐步增加，但评分下降，主要原因是中国地区今年低质量影视作品的增加。
另外，本篇报告还爬取了电影票房网（ http://58921.com/ ）1995-2020年度国内上映的影片票房，共采集4071条数据，其中3484条有效。进一步，本文分析了国内院线电影票房年度变化趋势，票房与评分、评价人数、时长、地区的关系，票房与电影类型的关联，并给出了票房最高的导演、演员与电影排名。
清洗、去重后，可以看到29033条数据长度、评分、评论数具有以下特点：
结合图1(a)(b)看，可以看到电影数据时长主要集中在90-120分钟之间，向两极呈现阶梯状递减，将数据按照短(60-90分钟)，中(90-120分钟)，长(120-150分钟)，特长(>150分钟)划分，各部分占比为21.06%, 64.15%, 11.95%, 2.85%。
结合图2(a)看，可以看到我们采集到的电影数据评分主要集中在6.0-8.0之间，向两极呈现阶梯状递减，在此按照评分划分区间：2.0-4.0为口碑极差，4.0-6.0为口碑较差，6.0-7.0为口碑尚可，7.0-8.0为口碑较好，8.0-10.0为口碑极佳。
这5种电影数据的占比分别为：5.78%, 23.09%, 30.56%, 29.22%, 11.34%
再将评分数据细化到每年进行观察，可以发现，30年内电影数量与年度电影均分呈反相关，年度均分整体呈现下降趋势，2016年电影均分最低，电影数量最多。
进一步做出每个年份下不同评级等级的电影数据占比，可以发现，近年来，评分在[2.0,6.0)的电影数据占比有着明显提升，评分在[6.0,7.0)的数据占比不变，评分在[7.0,10.0)的数据占比减少，可能原因有：
对照图5，可以发现，评分与时长、评论人数的分布大致呈现漏斗状，高分电影位于漏斗上部，低分电影位于漏斗下部。这意味着，如果一部电影的评论人数很多（特别是超过30w人观影），时长较长(大于120min)，那么它大概率是一部好电影。
根据各个国家的电影数量作图，可以得到图6，列出电影数量前十的国家可得表格2，发现美国在电影数量上占第一，达到8490部，中国其次，达6222部。此外，法国，英国，日本的电影数量也超过1000，其余各国电影数量相对较少。这可以说明美国电影有着较大的流量输入，在中国产生了较大的影响。
进一步分析各国电影的质量，依据评分绘制评分箱线图可得图7，在电影数量排名前20的国家中：
接着我们可以探索，哪个国家的电影对豆瓣评分随年份下降的贡献最大，考虑到电影数量对应着评分的权重。根据上述各国的电影评分表现，我们可以猜测电影数量较多的国家可能对年度均分的下降有较大影响。于是，我们再计算出这些国家的年度电影均分，并与整体均分进行比较分析。
再作出中国大陆，中国台湾，中国香港的均分箱线图图9(a)，可以看到，大陆电影均分低于港台电影，且存在大量低分电影拉低了箱体的位置。
分析相关性可得，大陆、香港、台湾电影年度均分与全部评分关联度分别为R=0.979,0.919,0.822，说明滤去台湾和香港电影，大陆电影年度均分的变化趋势与全部评分变化更接近。图9(b)可以进一步反映这一点。
可以看到，大部分类型集中在X×Y=[10000,30000]×[6.00,7.50]的区间范围内，剧情、喜剧、爱情、犯罪、动作类电影数量上较多，说明这些题材的电影是近三十年比较热门的题材，其中剧情类电影占比最多，音乐、传记类电影平均得分更高，但在数量上较少，动作、惊悚类电影评论人数虽多，但评价普遍偏低。
除此之外，还有两块区域值得关注：
根据类型对电影数据进行聚合，整理得到各类型电影评分的时间序列，计算它们与整体均分时间序列的相关性，可得表格4与图11，可以看到剧情，喜剧，悬疑这三种类型片与总分趋势变化相关性最强，同时剧情、喜剧类电影在电影数量上也最多，因此可以认为这两类电影对于下跌趋势影响最大，但其余类别电影的相关性也达到了0.9以上，说明几种热门的电影得分的变化趋势与总体均分趋势一致。
前面已经得知，中美两国电影占比最高，且对于均分时间序列的影响最大。在此，进一步对两国电影进行类型分析，选取几种主要的类型（数量上较多，且相关性较高）进行分析，分别是剧情，喜剧，爱情，惊悚，动作，悬疑类电影，绘制近年来几类电影的数量变化柱状图与评分箱线图可得图12,13,14,15。
对导演与演员进行聚合，得到数据中共有15011名导演，46223名演员。按照作品数量在(0,2], (2,5], (5,10], (10,20], (20,999]进行分组统计导演数量，可以发现，15009名导演中有79.08%只拍过1-2部作品，46220名演员中有75.93%只主演过1-2部作品。忽略那些客串、跑龙套的演员，数据总体符合二八定律，即20%的人占据了行业内的大量资源。
在此，可以通过电影得分、每部电影评论人数以及电影数目寻找优秀的电影导演与演员。这三项指标分别衡量了导演/演员的创作水平，人气以及产能。考虑到电影数据集中可能有少量影视剧/剧场版动画，且影视剧/剧场版动画受众少于电影，但得分普遍要高于电影，这里根据先根据每部电影评论数量、作品数量来筛选导演/演员，再根据电影得分进行排名，并取前30名进行作图，可得图17,18。
结合电影票房网（ http://58921.com/ ）采集到的3353条票房数据，与豆瓣数据按照电影名称进行匹配，可以得到1995-2020年在中国大陆上映的电影信息，分别分析中国内地电影的数量、票房变化趋势，票房与评分、评价人数、时长、地区以及类型的关系，此外还给出了不同导演与演员的票房表现以及影片票房排名。
如图19所示，国内票房数据与上映的电影数量逐年递增，2020年记录的只是上半年的数据，且由于受疫情影响，票房与数量骤减。这说明在不发生重大事件的情况下，国内电影市场规模正在不断扩大。
对电影数据根据类型进行聚合，绘制散点图21，可以发现：
提取导演/演员姓名，对导演/演员字段进行聚合，计算每个导演/演员的票房总和，上映电影均分、以及执导/参与电影数目进行计算，作出票房总和前30名的导演/演员，可得图22,23，图中导演/演员标号反映了票房排名，具体每位导演/演员的上映影片数量、均分、每部电影评价人数、平均时长与总票房在表5、表6中给出。
最后根据电影票房进行排名，得到票房排名前20的电影如表格7所示，可以看到绝大部分上榜电影都是中国电影，索引序号为3、10、12、14、18、19为美国电影，这也反映了除国产电影之外，好莱坞大片占据较大的市场。
本篇报告采集了1990-2020年间豆瓣电影29033组有效数据，从豆瓣电影的评分、时长、地区、类型、演员、导演以及票房等信息进行分析评价，主要有以下结论：
❹ 电影评分数据统计分析的作用和意义
通过观众对电影的评分的分析，可以在一定程度上给电影行业启发。数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
❺ .利用python获得豆瓣电影前30部电影的中文片名,排名,导演,主演,上映时间
热门频道
首页
博客
研修院
VIP
APP
问答
下载
社区
推荐频道
活动
招聘
专题
打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
打开APP
python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。 原创
2021-07-19 01:03:15
2点赞
zynaln
码龄8年
关注
题目：
获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。
代码：
输出结果：
文章知识点与官方知识档案匹配
Python入门技能树网络爬虫urllib
201761 人正在系统学习中
打开CSDN APP，看更多技术内容
最新发布 用python爬取豆瓣影评及影片信息(评论时间、用户ID、评论内容)
用python爬取豆瓣影评及影片信息(评论时间、用户ID、评论内容)
继续访问
python
写评论
7
14
2
踩
分享