1. 根据用户最近的浏览习惯和喜好,给用户推荐相关信息,即“推荐系统”,试论述其基本原理
根据用户习惯推荐信息，首先你需要由相关的算法，能够分析用户日常浏览搜索阅读行为和关键词。然后进行信息匹配和对比，根据相应推荐频率、推荐形式推荐方法，给用户定时定点发送消息。这就是推荐系统的基本原理。
2. 用户用电行为分析系统意义
用户用电行为分析系统意义是电力技术领域。本发明公开了一种用户用电行为分析系统，属于电力技术领域。所述用户用电行为分析系统包括监测设备、智能电表和服务器，其中：所述监测设备获取第一用电信息，所述第一用电信息至少包括入户线路的电压、电流、功率以及谐波。所述监测设备将所述第一用电信息发送至所述智能电表。所述智能电表将所述第一用电信息发送至所述服务器：所述服务器根据所述第一用电信息确定用户用电行为。
3. 用户行为分析系统建立所需步骤和所需软件
Web日志挖掘分析的方法
日志文件的格式及其包含的信息
①2006-10-17 00:00:00②202.200.44.43 ③218.77.130.24 80 ④GET ⑤/favicon.ico
⑥Mozilla/5.0+(Windows；+U；+Windows+NT+5.1；+zh-CN；+rv：1.8.0.3)+Gecko/20060426
+Firefox/1.5.0.3。
①访问时间；②用户IP地址；③访问的URL，端口；④请求方法(“GET”、“POST”等)；
⑤访问模式；⑥agent，即用户使用的操作系统类型和浏览器软件。
一、日志的简单分析
1、注意那些被频繁访问的资源
2、注意那些你网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等：
3、观察搜索引擎蜘蛛的来访情况
4、观察访客行为
应敌之策：
1、封杀某个IP
2、封杀某个浏览器类型（Agent）
3、封杀某个来源（Referer）
4、防盗链
5、文件重命名
作用：
1.对访问时间进行统计，可以得到服务器在某些时间段的访问情况。
2.对IP进行统计，可以得到用户的分布情况。
3.对请求URL的统计，可以得到网站页面关注情况。
4.对错误请求的统计，可以更正有问题的页面。
二、Web挖掘
根据所挖掘的Web 数据的类型，可以将Web 数据挖掘分为以下三类：Web 内容挖掘(Web Content Mining)、Web 结构挖掘(Web Structure Mining)、Web 使用挖掘(Web Usage Mining)（也称为Web日志挖掘）。
①Web内容挖掘。Web内容挖掘是指从文档的内容中提取知识。Web内容挖掘又分为文本挖掘和多媒体挖掘。目前多媒体数据的挖掘研究还处于探索阶段,Web文本挖掘已经有了比较实用的功能。Web文本挖掘可以对Web上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用Web文档进行趋势预测等。Web文档中的标记,例如<Title>和<Heading>等蕴含了额外的信息,可以利用这些信息来加强Web文本挖掘的作用。
②Web结构挖掘。Web结构挖掘是从Web的组织结构和链接关系中推导知识。它不仅仅局限于文档之间的超链接结构,还包括文档内部的结构。文档中的URL目录路径的结构等。Web结构挖掘能够利用网页间的超链接信息对搜索引擎的检索结果进行相关度排序,寻找个人主页和相似网页,提高Web搜索蜘蛛在网上的爬行效率,沿着超链接优先爬行。Web结构挖掘还可以用于对Web页进行分类、预测用户的Web链接使用及Web链接属性的可视化。对各个商业搜索引擎索引用的页数量进行统计分析等。
③Web使用记录挖掘。Web使用记录挖掘是指从Web的使用记录中提取感兴趣的模式，目前Web使用记录挖掘方面的研究较多,WWW中的每个服务器都保留了访问日志,记录了关于用户访问和交互的信息,可以通过分析和研究Web日志记录中的规律,来识别网站的潜在用户;可以用基于扩展有向树模型来识别用户浏览序列模式,从而进行Web日志挖掘;可以根据用户访问的Web记录挖掘用户的兴趣关联规则,存放在兴趣关联知识库中,作为对用户行为进行预测的依据,从而为用户预取一些Web页面,加快用户获取页面的速度，分析这些数据还可以帮助理解用户的行为,从而改进站点的结构,或为用户提供个性化的服务。
通过对Web服务器日志中大量的用户访问记录深入分析，发现用户的访问模式和兴趣爱好等有趣、新颖、潜在有用的以及可理解的未知信息和知识，用于分析站点的使用情况，从而辅助管理和支持决策。当前，web日志挖掘主要被用于个性化服务与定制、改进系统性能和结构、站点修改、商业智能以及web特征描述等诸多领域。
三、Web日志挖掘的方法
（一）首先，进行数据的预处理。
从学习者的访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理才能进行挖掘。因此，需要通过日志清理，去除无用的记录；对于某些记录，我们还需要通过站点结构信息，把URL路径补充成完整的访问序列；然后划分学习者，并把学习者的会话划分成多个事务。
（二）其次，进行模式发现
一旦学习者会话和事务识别完成，就可以采用下面的技术进行模式发现。模式发现, 是对预处理后的数据用数据挖掘算法来分析数据。分有统计、分类、聚类、关等多种方法。
① 路径分析。它可以被用于判定在一个站点中最频繁访问的路径，还有一些其它的有关路径的信息通过路径分析可以得出。路径分析可以用来确定网站上的频繁访问路径, 从而调整和优化网站结构, 使得用户访问所需网页更加简单快捷, 还可以根据用户典型的浏览模式用于智能推荐和有针对性的电子商务活动。例如：70% 的学习者在访问/ E-Business /M2时，是从/EB开始，经过/ E-Business /SimpleDescription，/ E-Business /M1；65%的学习者在浏览4个或更少的页面内容后就离开了。利用这些信息就可以改进站点的设计结构。
② 关联规则。 使用关联规则发现方法，可以从Web的访问事务中找到的相关性。关联规则是寻找在同一个事件中出现的不同项的相关性，用数学模型来描述关联规则发现的问题：x=>y的蕴含式，其中x,y为属性——值对集(或称为项目集)，且X∩Y空集。在数据库中若S%的包含属性——值对集X的事务也包含属性——值集Y，则关联规则X=>Y的置信度为C%。
③ 序列模式。在时间戳有序的事务集中，序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。它能发现数据库中如“在某一段时间内，客户购买商品A，接着会购买商品B，尔后又购买商品C，即序列A→B→C出现的频率高”之类的信息。序列模式描述的问题是：在给定的交易序列数据库中，每个序列按照交易的时间排列的一组交易集，挖掘序列函数作用是返回该数据库中高频率出现有序列。
④ 分类分析。发现分类规则可以给出识别一个特殊群体的公共属性的描述，这种描述可以用于分类学习者。分类包括的挖掘技术将找出定义了一个项或事件是否属于数据中某特定子集或类的规则。该类技术是最广泛应用于各类业务问题的一类挖掘技术。分类算法最知名的是决策树方法，此外还有神经元网络、Bayesian分类等。例如：在/ E-Business /M4学习过的学习者中有40％是20左右的女大学生。
⑤聚类分析。可以从Web访问信息数据中聚类出具有相似特性的学习者。在Web事务日志中，聚类学习者信息或数据项能够便于开发和设计未来的教学模式和学习群体。聚类是将数据集划分为多个类，使得在同一类中的数据之间有较高的相似度，而在不同类中的数据差别尽可能大。在聚类技术中，没有预先定义好的类别和训练样本存在，所有记录都根据彼此相似程度来加以归类。主要算法有k—means、DBSCAN等。聚类分析是把具有相似特征的用户或数据项归类,在网站管理中通过聚类具有相似浏览行为的用户。基于模糊理论的Web页面聚类算法与客户群体聚类算法的模糊聚类定义相同，客户访问情况可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客户Ci和URL(Uj)间的关联度：式中m为客户的数量，hits(Ci)表示客户Ci访问URL(Uj)的次数。利用Suj和模糊理论中的相似度度量Sfij定义建立模糊相似矩阵，再根据相似类[Xi]R的定义构造相似类，合并相似类中的公共元素得到的等价类即为相关Web页面。
⑥统计。统计方法是从Web 站点中抽取知识的最常用方法, 它通过分析会话文件, 对浏览时间、浏览路径等进行频度、平均值等统计分析。虽然缺乏深度, 但仍可用于改进网站结构, 增强系统安全性, 提高网站访问的效率等。
⑦协同过滤。协同过滤技术采用最近邻技术，利用客户的历史、喜好信息计算用户之间的距离，目标客户对特点商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
（三）最后，进行模式分析。
模式分析。基于以上的所有过程，对原始数据进行进一步分析，找出用户的浏览模式规律，即用户的兴趣爱好及习惯，并使其可视化，为网页的规划及网站建设的决策提供具体理论依据。其主要方法有：采用SQL查询语句进行分析；将数据导入多维数据立方体中，用OLAP工具进行分析并给出可视化的结果输出。（分类模式挖掘、聚类模式挖掘、时间序列模式挖掘、序列模式挖掘、关联规则等）
四、关联规则
（一）关联规则
顾名思义，关联规则（association rule）挖掘技术用于于发现数据库中属性之间的有趣联系。一般使用支持度（support）和置信度（confidence）两个参数来描述关联规则的属性。
1.支持度。规则 在数据库 中的支持度 是交易集中同时包含 ， 的事务数与所有事务数之比，记为 。支持度描述了 ， 这两个项集在所有事务中同时出现的概率。
2．置信度。规则 在事务集中的置信度(confidence)是指同时包含 ， 的事务数与包含 的事务数之比，它用来衡量关联规则的可信程度。记为
规则 A Þ C:支持度= support({A}È{C}) = 50%，置信度= support({A}È{C})/support({A}) = 66.6%
（二）Apriori方法简介
Apriori算法最先是由Agrawal等人于1993年提出的，它的基本思想是：首先找出所有具有超出最小支持度的支持度项集，用频繁的(k—1)-项集生成候选的频繁k-项集；其次利用大项集产生所需的规则；任何频繁项集的所有子集一定是频繁项集是其核心。
Apriori算法需要两个步骤：第一个是生成条目集；第二个是使用生成的条目集创建一组关联规则。当我们把最小置信度设为85%，通过关联规则的形成以及对应置信度的计算，我们可以从中得到以下有用的信息：
1.置信度大于最小置信度时：我们可以这样认为，用户群体在浏览相关网页时，所呈列的链接之间是有很大关联的，他们是用户群的共同爱好，通过网页布局的调整，从某种意义上，可以带来更高的点击率及潜在客户；
2.置信度小于最小置信度时：我们可以这样认为，用户群体对所呈列链接之间没太多的关联，亦或关联规则中的链接在争夺用户。
五、网站中Web日志挖掘内容
（1）网站的概要统计。网站的概要统计包括分析覆盖的时间、总的页面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨日访问等结果集。
（2）内容访问分析。内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。
（3）客户信息分析。客户信息分析包括访问者的来源省份统计、访问者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的IP地址以及访问者使用的搜索引擎。
（4）访问者活动周期行为分析。访问者活动周期行为分析包括一周7天的访问行为、一天24小时的访问行为、每周的最多的访问日、每天的最多访问时段等。
（5）主要访问错误分析。主要访问错误分析包括服务端错误、页面找不到错误等。
（6）网站栏目分析。网站栏目分析包括定制的频道和栏目设定，统计出各个栏目的访问情况，并进行分析。
（7）商务网站扩展分析。商务网站扩展分析是专门针对专题或多媒体文件或下载等内容的访问分析。
（8）有4个方向可以选择:①对用户点击行为的追踪，click stream研究；②对网页之间的关联规则的研究；③对网站中各个频道的浏览模式的研究；④根据用户浏览行为，对用户进行聚类，细分研究；（如果你能够结合现有的互联网产品和应用提出一些自己的建议和意见，那就更有价值了。）
（9）发现用户访问模式。通过分析和探究Web日志记录中的规律，可以识别电子商务的潜在客户，提高对最终用户的服务质量，并改进Web服务器系统的性能。
(10)反竞争情报活动。反竞争情报是企业竞争情报活动的重要组成部分。
六、相关软件及算法
（一）相关软件：
1.数据挖掘的专用软件wake。
2.用OLAP工具
3.已经有部分公司开发出了商用的网站用户访问分析系统，如WebTrends公司的CommerceTrends 3.0,它能够让电子商务网站更好地理解其网站访问者的行为，帮助网站采取一些行动来将这些访问者变为顾客。CommerceTrends主要由3部分组成：Report Generation Server、Campain Analyzer和Webhouse Builder。
4.Accrue公司的Accrue Insight，它是一个综合性的Web分析工具,它能够对网站的运行状况有个深入、细致和准确的分析，通过分析顾客的行为模式，帮助网站采取措施来提高顾客对于网站的忠诚度，从而建立长期的顾客关系。
（二）相关算法：
1.运用各种算法进行数据挖掘：GSP算法, Prefixspana算法，
2.关联规则分析：Apriori、FP-growth算法等。
3.Apriori算法及其变种算法
4.基于数据库投影的序列模式生长技术（database project based sequential pattern growth）
5. Wake算法、MLC++等
6. PageRank算法和HITS算法利用Web页面间的超链接信息计算“权威型”（Authorities）网页和“目录型”（Hubs）网页的权值。Web结构挖掘通常需要整个Web的全局数据，因此在个性化搜索引擎或主题搜索引擎研究领域得到了广泛的应用。
7.参考检索引擎的挖掘算法，比如Apache的lucene等。
4. 简书用户画像 之 如何挖掘用户的电影喜好
我在 《爬取百万页面 分析用户画像》 中分析了用户的书籍喜好，这里继续尝试通过影评文章的抓取、内容清洗、影评句子提取，建立机器学习情绪预测模型，挖掘分析用户对流行电影的喜好。
涉及的NLP（自然语言处理）知识点：
涉及的ML（机器学习）知识点：
电影的拍摄成本高、票价也不低，消费者投入的关注度和观看成本高（最终的投入成本是包括注意力投入、金钱投入、时间投入和感情投入）。
简单算下观看一部电影的成本（步骤）：先看下预告内容，做下同期上映电影的比较，觉得导演、演员阵容都不错，下定决心要看了，跟男／女友／老婆 ／老公／基友／闺密做推荐，推荐成功后去选座买票，观影当天说不定还得先吃个饭，饭后乖乖的在影院呆上90分钟（关键时刻还得憋尿），观影结束后指不定还得来个夜宵、开个房间探讨下人生什么的。。。
读一本书的成本（步骤）：1.打开书/电子阅读器/手机；2. 读！
这样对比看一部电影比读一本书的投入成本高多了！
因此观众给出的反馈自然也比书籍会强烈一些，特别是满怀期待看完却发现是一部烂片，有种上当受骗的感觉。
因此对电影光是通过词频作为喜好度是不够的，用户可能反复的在骂呢。
所以需要引入多一个分析的因子：情绪。用户提及某个电影时的情绪是怎么样的，是积极愉悦、还是负面愤怒，加上这个才能有效判定用户对电影或者某个事物的喜好。
在豆瓣上，用户的评分就是最直接的情绪数值：5力荐，4推荐，3还行，2较差，1很差。
但在这类写作平台上，发布文章时是没有一个选项来填写分数，也没提供选择心情的选项。
“所言即其所思”，这是普遍人性。每个用户写下的文字表达想法，在字里行间都会不经意的使用一些情绪用词来表达，这些便是我可以获取的“原始数据”。
精准推荐！用户谈论得多的东西未必是TA所喜爱的，也许是TA痛恨的（比如说前任）。如果用户在自己大力差评某部电影的文章底部看到另一部相似烂片的推荐，推荐文案还写着“亲，我猜你还喜欢看这些”，估计这用户会有种吃了苍蝇刚吐出来发现迎面又飞来几只的感觉。
通过用户在讨论某事物时上下文的情绪分析，来判断对该事物的喜恶，将预测结果加入对事物的打分计算中，最后得出一个可量化、可计算的分数值，便是一个精准推荐系统的需要解决的问题。
理论上只需要一句话：要识别出文章中提及的电影，以及作者对该电影的评论，是好评还是差评，作为文章作者对该电影的喜恶，并根据评论的情绪强烈程度转化为喜恶程度即可。
那实际上，就要解决以下问题：
下面逐一细说。
我采集了上几个比较受欢迎的电影专题以及一个大V帐号文章（数据截止至采集数据时）：
但由于对专题页面加了访问限制，每个专题只能访问到最新的200个列表页面，因而每个专题可获取2~3000篇文章，以此作为抽样数据样本。
要分析对电影的评价，首先就要获取到文章中提到电影名称有哪些，最简单的匹配规则便是提取书名号 《》 内的内容。
而实际获取到的电影名称真可谓“脏乱差”，有电影名、书籍名、文章名等，有些电影名称会用缩写引用（如《变1》、《复联》、《生化危机4/5/6》），或者中英文混合在一起（如《机器人总动员(wall-e)》），甚至还有错漏别字（如《那些年，我们一起追过的女孩》，多了个“过”字），以及包含中英文特殊标点空白符号等，例如：
因此需要进行一轮“数据大清洗”，我使用如下清洗策略：
其中“电影专用词典”，是通过采集了 「猫眼 影片总票房排行榜」 2000~2017年间上榜的所有电影，约有3000+部，如图：
再根据文章中所收集到的电影名称的候选文本，抓取「豆瓣网」的官方电影名字（遭遇了豆瓣业内闻名的反爬策略就不多说了），合并去重后约有8400多部。看一眼才发现好多电影连听都没听过，有些电影名称还挺有趣，以后有时间还可以做下电影名称的分析。
为了解决错别字，我通过文本相似性算法，在电影专用词典里找出与之最相似名称。
知名的相似算法有不少，如：
经过简单比较，我选择了其中表现最好的 jaro_winkler_distance
运用到文章内容上，可得到相似电影名称，感觉效果还可以：
构建一个Pipeline用于提取页面中电影名称，对单个页面测试效果如下：
运用到所有页面上：
至此完成了电影名称的提取、清洗，得出每篇文章提及的电影名称，如图：
判断一篇文章的情绪，最简单的做法是通过提取所有情绪词来统计下词频及其权重可得到一个粗糙的结果，但这样的结果对“影评”类文章不是很准确。
根据观察，一篇电影评论文章中，往往会有大段的电影情节描述，然后夹杂一两句评论。而有些电影本身剧情就是比较负面、阴暗的（如灾难片类的），但影片本身质量很高（如《釜山行》，豆瓣评分8.2），如果文章内容包含大量的剧情描述，那么得到关键词会偏向于负面情绪，并不能用于表达出作者对电影的喜好情绪。
因此我使用了这样的提取策略：
评论句子提取的结果示例如下：
这样的策略对有些内容不是很适用，例如这样的标题：《同样是豆瓣9.2分，它或许比《摔跤吧！爸爸》更深》，这是典型的“借势营销”型文案，文章内容中推介的是另外一部韩国电影《熔炉》，而时下《摔跤吧！爸爸》正热，标题中带上这个会更吸引用户点击。
另外一个思路是对文章进行摘要提取，然后对摘要进行情绪识别。而对于文章的主题提取，可以使用在ML算法中的用于解决 主题模型 问题的算法（如LDA），但不确定是否适合影评这种混合了大量剧情描述的文章内容。
得到相关评论文本后，便可对文本进行分词及情绪识别，这里有两种做法，一是使用带有情绪情感度的专业词典，配合专有算法；另外一种是使用机器学习算法。
一开始我使用了大连理工大学的《大连理工情感词汇本体库》，是目前最权威的中文情绪词典，共含有情感词共计27466个，包含了词语的词性种类、情感类别、情感强度及极性等信息，例如：
中文情感词汇本体的情感分类体系是在国外比较有影响的Ekman的6大类情感分类体系的基础上构建的。在Ekman的基础上，词汇本体加入情感类别“好”对褒义情感进行了更细致的划分。最终词汇本体中的情感共分为7大类21小类，如图：
把情感词典加入分词词典，对候选每个句子进行分词，得出情感词组，并累加每个情感词的强度值作为句子的情感值。
但经过测试后，发现预测效果并不理想，究其原因发现是情感词典中命中的词语太少，在句子中得不到相关词语，也就无法判断情感极性和强度。
使用情感词典的测试结果：
而专业词典的扩展需要专业领域知识，扩展起来很困难，我目前没找到更新的专业词典，国内这块的资料相当匮乏，而国外有个知名的SentiWordNet库，中文NLP研究的难度系数可想而知。
鉴于情感词典的资源限制，决定尝试使用机器学习来对文本做正、负面情绪预测。
1). 构建分词词典：
分词需要构建专用领域的词典，这样得到的分词结果才会更精确。
因为只需要有正负情感类别、不需要有情感强度及极性等信息，我使用了网络上公开的一些情感词典，：
合并、清洗和去重后，最终构建出了 14000+ 个词的积极情绪词典， 18000+ 个词的消极情绪词典。
积极词典：
消极词典：
2). 准备训练语料
从网上搜集到几个带有积极、消极的标注的评论语料数据集，分别包含了书籍、DVD、音乐、购物领域的各有4000条评论，如下图：
可惜没找到中文影评相关的语料，但找到 国外英文的影评语料 ，对，英文资料很丰富。。。
3). 训练模型
由于是文本型特征，分类算法上选择了 朴素贝叶斯 ，把数据分为2份，一半训练，另一半做测试。
使用 jieba 分词工具，对文本进行分词得到候选词组，把得到的词组作为特征输入来训练情绪预测模型。
训练后的模型测试结果如下：
训练后的模型在书籍、音乐、影碟及购物评论的语料上都有不错的效果。
在提取出的影评短句上测试：
又是“无聊”、“又俗又傻”而一个“但”字就反转了情绪，真是难为分类器了：
经过反复对比实验，发现语料的质量决定了模型的精度，而语料的扩展对比扩展专业词典却容易多了。例如几年前都没有“ 因吹斯汀 ”这些网络流行词，更不知道它代表是正面情绪，以后只要不断更新相关领域的语料库来重新训练则可得到更精确的模型。
俗话说“是骡子是马拉出来遛遛”。
得到一个预测情绪的模型后，便可对影评文章进行预测，但预测的结果是否准确？准确率又有多高？这又是个问题。
每当事情陷入停滞，我就会想起日本漫画大师安达充说过“当故事情节发展不下去的时候，加入一个新角色，是最简单的做法”。
这时需要祭出一个“旁证”了。这所谓的“旁证”，也就是目前大家比较认可的电影评分网站——豆瓣网。
大家都知道豆瓣网上的电影用户通过打星（5力荐，4推荐，3还行，2较差，1很差），转换得出的10分制的评分，我们可简单把1 4.9分视作负面评价、5 10分视作正面评价，没有分数的视作中性评价。再把豆瓣的评价结果视作大部分人认同的结果，当然这样肯定是有偏差的。
大胆假设，小心求证，先试试看吧。
根据电影名词典再次去抓取豆瓣网上的电影信息，这次包含了电影分数：：
使用获取到的电影专题『电影院』文章内容测试，结果如下：
1048篇中，豆瓣评分结果与模型预测符合的有974篇，准确率是92.9%，WOW！真的这么准吗？
看下详细结果，豆瓣评分是正面的有1022条，预测对了973篇，例如：
而豆瓣评分是负面的有28条记录，而模型只预测出1篇是负面的：
真的是模型预测错了吗？
从负面例子中抽样看看模型分解的结果：
评论《麻烦家族》（豆瓣评分4.8）的：
从自动摘要出来的句子来看，实际上文章作者表现出正面情绪，模型预测为正面，预测正确 😊。
再看评论同一部电影的另外一个文章的评论：
作者显然是给了个差评，但模型给了出的预测是正面，预测错误 😞。
负例的预测准确率低，有两个原因，一个是豆瓣评分正负标准的阀值设定不够精准，二是训练数据不平衡。
之前使用的阀值策略是：“简单把1 4分视作负面评价、5 10分视作正面评价，没有分数的视作中性评价”。
我猜测在4~5分这个区间应该是灰度地带，正负面评论都会有。为了验证这个猜想，使用获取到的所有豆瓣电影分数，导入数据分析工具中，排除掉没有分数的条目后得到6500+条电影数据，其中最低是2.1，最高是9.7。
查看评分分布的直方图与比例饼图：
调整区间阀值，把 2.1-4.9 划分为一个区间，系统自动分成了3组分值：
发现5分以下电影仅占12%。
从评分分布结果看，在上大部分人写文章是针对高分（好评）电影为主，低分（差评）电影的文章数量很少，从提取出来的数据量看，两者比率约为100:3。
训练数据不平衡导致正例过拟合，而负例欠拟合。
要解决数据不平衡问题，可以重新采样训练集。有两种方法使不平衡的数据集来建立一个平衡的数据集——欠采样和过采样，解释如下：
由于训练数据不多，我使用了 过采样 中的自举方案。我将另外一个的电影专题『影视天堂』中模型预测结果与豆瓣评分结果一致的内容作为训练数据集来强化训练模型：
然后再对电影专题『电影院』测试一次：
负例的准确率改善了一些些，这说明效果是有的，以后只需继续获取到新的数据再“喂”给模型，模型预测结果会越来越精准。
至此，得到一个不算成熟的电影情绪预测模型，可以用来做一些有趣的统计分析了。
将『影视天堂』专题的分析结果在数据分析工具上进行数据可视化展示，得到一个「长尾图」：
从报表中可得到这些信息：
注1：严格来说《欢乐颂》不是电影而是电视剧作品，在用豆瓣网的数据构建电影词典时我没有做严格区分
注2：专题的数据获取是在5月份完成的，以及专题的最新收录文章有访问限制，无法获取到旧的文章，因此得到的当时热门影视作品的影评，从而呈现出信息跟当时热播作品比较相关
再对先前获取到的 1万个用户的近60万篇文章内容 ，运行相应的Pipeline进行电影情绪数据的提取。
可视化数据后得到图表：
现在可以看看，上用户给予好评的电影有哪些，使用「词云图」展示如下：
用户给予差评的电影有哪些：
现在也可以精准了解每一个用户的电影口味了，以 『毒舌电影 - 』 为例子：
注3：本文发表时上“毒舌电影”经历过被封事件后已改名为“Sir电影”；专题“影视天堂”已改名为“电影”
以后做电影个性化推荐可就不要推荐错了 😉。
5. 网站用户行为统计分析系统有哪些开源的、收费的都告知一下
付费的用行为分析自建系统像growingio，诸葛io，神策这些都可以。3家相比诸葛io只能做一些简单的数据分析，growingio最大的特色是无需埋点，可以回溯任何数据，其他的搜需要埋点后才能收集数据，神策听过没用过
6. 个性化推荐算法
随着算法的普及，大量的产品有了个性化推荐的功能，这也成为内容类产品的标配。个性化定制化逐渐成为了互联网思维的新补充，被提升到了越来越重要的地位。算法推荐经过了很长一段时间的发展，才逐渐达到能给用户惊喜的阶段。比如在电商领域，推荐算法可以挖掘用户潜在购买需求，缩短用户选取商品的时间，提升用户的购物体验；在新闻或段视频领域，推荐算法可以推送用户喜欢的内容，提高用户的阅读效率，减少用户选择内容的时间，也增加了用户在产品上的停留时长。
算法应用阶段
内容类产品发展初期，推荐算法一般为“热度算法”，就是系统把热点内容优先推荐送给用户，完成热点内容的高阅读率。在积累了一定的用户数据后，会发现用户阅读内容过于集中于热点信息，长尾信息中的优质资源往往被忽略，造成资源浪费。“千人一面”的状况已不是一个优质的解决方案，所以算法逐渐演变为“个性化推荐”，也就是协同过滤的方法论支撑下的一种算法。协同过滤能很好的根据用户的喜好，推荐匹配的内容，减少资源浪费，增加用户使用的友好体验。真正做到“千人千面”。
推荐算法的信息来源
第三方数据
一个新系统在初期没有数据积累的情况下，可与第三方合作，互授部分信息共享。比如，很多系统支持微信登陆，这时候可以获取客户的微信信息，生活地点，部分生活习惯等。同时会获取用户的社交信息，共同好友越多表明圈子越相似，可以推荐更多相似的内容。
用户行为数据
记录用户在系统内的使用习惯，可以准确的描述单个用户的行为特征，爱好特征等有效的信息，系统根据提取出的分析结果，将内容与之匹配，完成更精准的推荐。如，某用户经常浏览体育信息，系统将对应推荐更多体育相关的咨询，省去用户搜索筛选的时间。
基于生活习惯
基于生活习惯，生活常识的推荐，往往也可以作为内置的一个信息来源途径。比如，外卖的app推荐用户的餐厅，一般默认是位置优先，就近推荐，如果是快中午的时间段使用，系统默认推荐午餐，其次是晚餐。靠生活常识作出的系统算法，可以更符合人类的习惯，给用户更好的体验。
热度算法
热度算法简单的说就是把最核心的内容优先推荐，用新闻举例，每一条新闻都具有实效性，随着时间的推移，该条新闻的关注度降低，关注点被新的热点新闻取代。量化以上的过程，把各个影响因素设定为变量，会得出以下的公式：
新闻热度=初始热度分+用户交互热度分-衰减热度分
初始热度分为新闻产生时，系统对新闻主体的预判热度值。预判的分值一般为以下两种模式，一种情况，按照新闻类别的不同，娱乐新闻大于财经新闻，大于国际新闻，大于文化新闻等等系统的预设，依次给出不同的初始热度分；另一种情况，系统预置热词词库，用新闻的关键词和词库的去匹配，匹配度高的，初始热度分高。
用户的交互热度分也是一个变量，先要明确用的哪些行为会影响新闻热度，然后对这些行为量化，加权或打分等方式。例如，网易云音乐，用户的听歌，重复循环，收藏，评论，分享等行为，系统为每一种行为打分，求和后得出用户交互的热度分：
用户交互热度分=听歌X10+循环X5+收藏X10+评论X5+分享X3
此公式还可以继续细化，每一种操作的分值也可以作为变量，在产品前期时，传播产品为主要任务，所以分享的加权要大一些，随着网易云的发展，社区的概念逐渐强化，评论区互动的加权会加大，所以评论的分值会增加，系统随时调整分数加权，得出更准确的用户交互的影响值。
衰减热度分是一个随时间变化而变化的数值，往往是一个函数的表达。用新闻举例，新闻的热度会随着时间的推移而衰减，并且趋势是越来越快，人们在接受新的热点后，迅速忘记“旧闻”，直至热度趋近于零。根据理论数据，构建函数，准确的表达衰减分值。
还有很多其他的影响因素，比如传播次数，传播层数，停留时长等等，都会影响热度值，要想更精准的表达，就需要把涉及到的因素都作为变量，不断完善算法，才能更精准的完成推荐。
个性化推荐算法
随着用户量的增加，产品日活的增加，用户也不能仅限于千人一面热点阅读的模式中，个性化推荐在此时显得尤为重要。个性化推荐有两种常见的解决方案，一种是基于内容的推荐算法，推荐内容往往是根据用户的使用习惯得来，较为精准；另一种是基于用户的协同推荐算法，系统会根据以往使用内容，为用户建模，然后根据群体中个体的使用习惯，推荐更多超预期的内容，达到预测推荐的效果。
基于内容的推荐算法-预期内
基于内容的推荐算法，靠收集用户的使用习惯，进而推荐相关的内容。系统使用分词库匹配、关键词匹配等等方式，达到内容的匹配，做到内容的精确划分。比如，用户浏览了某部科幻电影，系统就会按照该电影所对应的标签，如科幻，然后系统推荐相同标签的影片给用户。
这样的推荐方案，确定性强，推荐的内容都是根据用户的历史来确定，不能挖掘用户的潜在需求。
基于用户的协同推荐-超预期
做到精准推荐后，系统会继续挖掘更潜在的推荐需求，给用户超预期的推荐体验。这就到了基于用户协同推荐的阶段。简单的说，这种算法是增加了用户建模的环节，将同标签的用户群分，对比群体中单个个体的特征，默认这种特征为这类人的潜在特征，再将此特征内容推荐给同标签的用户，达到超预期的推荐效果。
比如，某用户购买了一个苹果手机，系统会将此用户归类为果粉，系统识别出很多果粉除了买苹果的商品，还会购买小米作为备用机，这个特征会被系统识别为潜在需求，推荐给果粉，减少果粉选择备用机的时间。
这样的推荐算法，不仅能完成精准的推荐，还能给用户小惊喜，让系统“有温度”。但是这样的推荐方式，往往需要积累了大量用户资料为基础，才可以精确的完成。
7. 基于用户行为分析建立用户偏好模型
基于用户行为分析建立用户偏好模型
我们经常将个性化推荐的思想简单地抽象为：通过用户的行为推测出用户的兴趣，从而给用户推荐满足他们兴趣的物品。那我们其实就是要通过用户行为分析建立一个用户偏好(偏好即兴趣)模型，模型中包含各个用户的一个或更多个偏好。
插叙一段
像「用户行为」，「用户兴趣」这样的词，大多数人都有一个默认的感知，甚至对于这种词的理解可能已固化为常识，所以我很少见到有文章使用这些词时解释它们。我感觉涉及到算法模型时，对这些词的不加限定的宽泛认知就容易影响对算法模型的深入理解，会导致感知模糊却不自知。因为不同人对这些词的基本理解可能一致，但是拓展理解各不相同。本文会作出限定解释，且本文所谈用户行为都是指网络(可以是电信网络，互联网)上的行为。
概念解释
实体域
当我们想基于用户行为分析来建立用户偏好模型时，我们必须把用户行为和兴趣主题限定在一个实体域上。个性化推荐落实在具体的推荐中都是在某个实体域的推荐。比如对于阅读网站，实体域包括所有的图书，我们可以称之为图书域。其他还有，个性化音乐推荐，个性化电影推荐，个性化资讯推荐等。
用户行为
用户在门户网站点击资讯，评论资讯，在社交网站发布状态，评论状态，在电商网站浏览商品，购买商品，点评商品，以及在其他类型网站的种种行为都可是用户行为。本文所指的用户行为都是指用户在某实体域上的行为。比如用户在图书域产生的行为有阅读，购买，评分，评论等。
兴趣主题
用户的兴趣维度，同样是限定在某实体域的兴趣，通常可以以标签的形式来表示。比如，对于图书阅读，兴趣主题可以是「悬疑」，「科技」，「情感」等等分类标签。值得一提的是，兴趣主题，只是从用户行为中抽象出来的兴趣维度，并无统一标准。比如qq阅读和豆瓣阅读的图书分类标签大不一样。而兴趣维度的粒度也不固定，就像门户网站有「新闻」，「体育」，「娱乐」等一级分类，而新闻下有「国内」，「社会」，「国际」二级分类，娱乐下有「明星」，「星座」，「八卦」二级分类。我们选取什么粒度的兴趣空间取决于我们对用户偏好模型的要求。
兴趣空间
在同一层次上兴趣维度的集合，比如豆瓣阅读中，可以用「新上架」，「热门」，「特价」，「免费」来构成一个兴趣空间(当然，如果使用这个兴趣空间来表征用户的兴趣，就太粗了，这里只是假设)，也可以用「小说」，「幻想」，「计算机」，「科技」，「历史」·····「美食」构成一个兴趣空间。这是两种不同的分类维度。如果将「新上架」也加入到后者集合里，就显然有些莫名其妙。值得一提是，这也并非不可能，这取决于一个如何看待这个集合的问题，如果不把它看作基于内容的分类，而是图书标签库，那么也是可行的，甚至利于建立更好地模型。本文后面我有提到。
用户行为数据
项亮在他的《推荐系统实践》的2.1节有详细介绍。通常在经过对行为日志的汇总处理后生成的比较容易理解的数据就是一份描述用户行为的会话日志。这种日志记录了用户的各种行为，比如在图书阅读app中这些行为主要包括点击，试读，购买，阅读(在本地app中，阅读行为有可能追踪不到)，评分，评论。
建立用户偏好模型
基于用户行为分析建立用户偏好模型的核心工作就是：将用户的行为转换为用户的偏好。
我们采用矩阵运算的思维方式，以图书阅读为例说明。
下图表示用户(user)集合：
下图表示图书(item)集合：
那么用户的行为矩阵可以表达为：
行表示用户，列表示图书，我们暂只考虑图书的购买行为，1表示用户看过该图书，0表示用户没有看过该图书。
如何将上述用户行为矩阵转化为用户兴趣矩阵(即行代表用户，列代表兴趣维度)，一种显著的方法是我们先确定图书与兴趣维度的对应关系矩阵。而这个的前提是我们确定了使用何种兴趣空间。一种常见的方式是专家给出一些样本的分类结果，也就是一般意义的训练数据，然后通过分类算法，得到分类模型，然后应用到其余数据的分类问题当中，解决其余大量数据的分类问题。这种分类的特点是一本图书只被标记为一种类别，假如有3个类别，
那么图书-兴趣矩阵为：
那么用户行为矩阵转换为用户兴趣矩阵的运算公式即可表示为下图，行表示用户，列表示兴趣，算出的矩阵再经过归一化后，每个值就代表某个用户在某个兴趣的偏好权重。
选择这样的兴趣空间的局限显而易见：一本图书只能属于一个兴趣维度。实际情况中，一本图书通常不只属于某个分类，并且当图书的数据巨大时，寄希望于编辑分类可能会越来越难以维持，所以通常是由用户主动给图书添加标签，或者机器基于内容，提取关键词。但是这种形式得到的标签集会存在同义，生僻，维度过多等情况，需要经过标签清洗的重要工作。前面已经看到兴趣空间的选择真的是非常重要，直接影响所得到用户的兴趣矩阵。所以同样的方法都得到了用户偏好，但是好不好用，就跟这部分工作有关了。
用户行为加权
上面展示的用户行为矩阵示例是一个非常简单的，直接可以从数据库里提取的例子。而实际中在数据能够支撑的情况下，我们不可能只考虑一种行为。为了获得更合理的行为矩阵，我们就需要进行行为加权。比如，A1表示用户点击的行为矩阵，A2表示购买的行为矩阵，A3表示评分的行为矩阵，那么加权矩阵就是：
至于各矩阵的权重跟我们建立用户偏好模型的目的有关，如果我们更希望找准用户的品味偏好，那么权重可能是：a1 < a2 < a3;如果我们更希望用户购买，那么权重可能是：a1 < a3 < a2。
其他用户行为分析方法
上面介绍的方法也算是一种主流的方法。但是从上面介绍的「兴趣主题」，「兴趣空间」也可以看出作出好的分类并不容易，分类粒度，分类维度等都不好控制，用户打标签也需要复杂的标签清洗工作。在图书，电影这样的实体域，我们还可以通过类别给用户推荐喜欢的物品，而在个性化资讯推荐领域(这里仅举个例子，资讯推荐应该有其特殊之处)，我们不见得能通过类别推荐用户喜欢的资讯，甚至用户本身也不在意类别。我们并不需要显式地构建物品-兴趣对应关系矩阵，也可以将用户和所喜欢类别的物品关联起来。这就涉及到隐含语义分析技术。这个部分会日后在此文补充。
小总结
以上可以看出基于用户行为分析的用户偏好建模的常规方法非常简单明了。事实上也的确如此，在使用这些方法或者思想编写程序计算都不是什么难事。而实际上，我们遇到的问题却并非是方法本身，而是数据本身。数据方面的两大问题是稀疏和长尾分布。通常有行为数据用户很少，而用户的行为对象也集中在不多的物品上。方法易学，而数据问题只能在实战中才能深刻体会，才会发现主要的精力和难点都在解决数据的稀疏和长尾上。希望日后能结合实际问题写写解决数据问题的文章。
此外，上面虽然是用矩阵运算的思想讲述，但我在实际项目中发现其运算的本质其实是对用户行为的统计。所以在实战中，不一定要先建矩阵，再做计算，直接在数据库里使用sql计算非常方便。