MapReduce了解 MapReduce 场景:比如有海量的文本文件,如订单,页面点击事件的记录,量特别大,单机版很难搞定。 MapReduce 产生背景 如果让你统计日志里面出现的某个 URL 的总次数,让你自己去写个单机版的程序,写个逻辑:无非就是读这个文件一行,然后把那个地方截取出来,截取出
大数据知识体系入门 大数据就是将各种数据统一收集起来进行计算,发掘其中的价值。这些数据,既包括数据库的数据,也包括日志数据,还包括专门采集的用户行为数据;既包括企业内部自己产生的数据,也包括从第三方采购的数据,还包括使用网络爬虫获取的各种互联网公开数据。 面对如此庞大的数据,如何存储、如何有效利用大