MapReduce了解 MapReduce 场景:比如有海量的文本文件,如订单,页面点击事件的记录,量特别大,单机版很难搞定。 MapReduce 产生背景 如果让你统计日志里面出现的某个 URL 的总次数,让你自己去写个单机版的程序,写个逻辑:无非就是读这个文件一行,然后把那个地方截取出来,截取出
Scala简洁入门小结 介绍 Scala是一门现代的多范式语言,志在以简洁、优雅及类型安全的方式来表达常用的编程模型。它平滑地集成了面向对象和函数式语言的特性。 推荐阅读:Scala 2 的官方中文文档 本文可以分为三部分: 基本语法 Scala面向对象 Scala容器
【Scala】foldLeft的简单使用总结 源码分析 def seq: TraversableOnce[A] 上面两段代码是scala.collection.TraversableOnce特质的foldLeft方法源代码,实现了TraversableOnce trait的seq就是可迭代的集合;
【Scala】使用Option、Some、None,避免使用null 避免null使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是"无",在Java,它是null。在Java 里,null 是一个关键字,不是一个对象,所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人
大数据知识体系入门 大数据就是将各种数据统一收集起来进行计算,发掘其中的价值。这些数据,既包括数据库的数据,也包括日志数据,还包括专门采集的用户行为数据;既包括企业内部自己产生的数据,也包括从第三方采购的数据,还包括使用网络爬虫获取的各种互联网公开数据。 面对如此庞大的数据,如何存储、如何有效利用大