关注虚拟化与云计算领域的最新资讯与技术

2009年4月6日星期一

亚马逊AWS引入MapReduce服务


亚马逊最近引入了MapReduce服务,成为弹性的Mapreduce(Elastic Map Reduce),类似于弹性云计算的服务,该服务也是可以按需使用,按使用计费。这项服务利用到开源的Hadoop软件来提供。

MapReduce是一种编程方法,可以给于程序将任务分解成成百上千个并行处理的能力。将单一的进行分解成多个运行部分,然后收集叠加。这种方法允许编程者可以处理极大的数据集。Hadoop软件是一个开源的Mapreduce的实现,该软件是基于JAVA框架的。该开源软件包含两部分,一部分是HDFS(Hadoop Distributed File System)Hadoop分布式文件系统,具有较高的容错性,可以由大量的存储服务节点组成,对于节点中存在的错误可以快速检测,自动恢复。例如Hadoop的HDFS曾经构建成Google的GFS文件系统。 另一部分指的是Mapreduce的实现。当前Hadoop还被Yahoo,IBM以及Facebook等公司采用。目前在云计算领域,Cloudera公司先于亚马逊发布了Hadoop的发布版本,将Hadoop推向市场,使得企业可以更容易配置使用Hadoop。

亚马逊将MapReduce带入到AWS中,允许用户可以在EC2和S3中使用Hadoop。AWS的客户可以在亚马逊的云计算环境中使用MapReduce的编程架构。可以做到以低成本对大量数据的分析处理。用户可以安装类似于网页索引,数据挖掘,日志文件分析等任务。具体内容请参照亚马逊Mapreduce主页

没有评论:

发表评论