IT家园

本文介绍了google推广的一个编程模型MapReduce，以及下一代mapreduce框架，简称MRv2。从各个方面对比了传统的MR框架和新一代的区别，以及它们的优缺点...

Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出...

谈到大数据框架，现在最火的就是Hadoop和Spark，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？让我们通过本文来了解...

Hadoop是大数据生态链最基础的技术部件，但Hadoop这个词本身已经悄悄地完成了从几个部件到一个生态圈的转义。本文将力图以最精炼、最直观的方式来带领大家摸象。...

GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证，Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充...

系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动 调度计算节点来处理相应的数据块...

​MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里...

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上,而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超...

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且...