菜单

Amos Blog

Hadoop常用命令

Hadoop常用命令 文件路径增删改查 hdfs dfs -mkdir dir # 创建文件夹 hdfs dfs -rmr dir # 删除文件夹dir hdfs dfs -ls

Administrator Administrator 发布于 2026-05-18

HDFS讲解

HDFS讲解 一、HDFS介绍 随着数据量越来越大,在一台机器上已经无法存储所有的数据了,我们会将这些数据分配到不同的机器来进行存储,但是这就带来一个问题:不方便管理和维护。 所以,我们就希望有一个系统可以将这些分布在不同操作服务器上的数据进行统一管理,这就有了分布式文件系统。 HDFS是分布式文件

Administrator Administrator 发布于 2026-05-18

深入理解HDFS

深入理解HDFS 本文详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助。 1. 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战

Administrator Administrator 发布于 2026-05-18

MapReduce了解

MapReduce了解 MapReduce 场景:比如有海量的文本文件,如订单,页面点击事件的记录,量特别大,单机版很难搞定。 MapReduce 产生背景 如果让你统计日志里面出现的某个 URL 的总次数,让你自己去写个单机版的程序,写个逻辑:无非就是读这个文件一行,然后把那个地方截取出来,截取出

Administrator Administrator 发布于 2026-05-18

大数据知识体系入门

大数据知识体系入门 大数据就是将各种数据统一收集起来进行计算,发掘其中的价值。这些数据,既包括数据库的数据,也包括日志数据,还包括专门采集的用户行为数据;既包括企业内部自己产生的数据,也包括从第三方采购的数据,还包括使用网络爬虫获取的各种互联网公开数据。 面对如此庞大的数据,如何存储、如何有效利用大

Administrator Administrator 发布于 2026-05-18