基于Spark的电影推荐系统设计与实现

摘 要：在如今互联网大数据的前提下，大量的网页数据急速增长。这种疯狂式增长无形中增大了物联网信息积压，大大的影响互联网用户的上网体验。为了解决互联网信息过载的普遍现象，设计出基于Spark的电影推荐系统设计与实现，针对个性化推荐系统更新取得极大的改变，使得本文所设计的个性化推荐算法具有重要的意义。

关键词：Spark；推荐系统；互联网；个性化

一、Spark概述

Spark一般通常指Apache Spark ，作为计算机通用计算引擎主要应用于海量的数据处理，与Hadoop相似都是美国加州大学伯克利分校开源的通用并行框架，其与Hadoop MapReduce 相比而言，更多的继承了Hadoop所存在的优点，如优化了HDFS再次之前存在的不足，将离线推荐与Spark数据库想连接，大大减少了离线状态下不必要的数据传输与处理，同时增加了实时推荐与Spark Streaming相互连接，实时根据用户网页浏览兴趣爱好加以实时推送数据信息，是Mlib模型化的产物，大大加快了运行的速率，在数据挖掘的过程中与机器学习相互融合，使得迭代算法更加优化于Hadoop ，这种根本性的改变也让Spark一度过关斩将成为当今数据分析与推荐的主流框架。（剩余983字）