常识社

当前位置:主页 > 生活常识 >

hadoop是做什么的

hadoop是做什么的 Hadoop是如何诞生的(2)

更新:2025-12-31 11:20:18 来源:常识社 作者:张莹
导读:hadoop是做什么的,(3)资源管理:在前面的内容中,我们可以发现储存处理大数据需要大量内存、网络带宽、CPU等资源的支持。 当有多个作业在Hadoop上同时运行,它们都需

hadoop是做什么的

hadoop是做什么的

(3)资源管理:在前面的内容中,我们可以发现储存处理大数据需要大量内存、网络带宽、CPU等资源的支持。当有多个作业在Hadoop上同时运行,它们都需要硬件资源来成功完成任务,如何去分配管理这些资源

这些资源管理任务就要用到Hadoop的第三个组件:YARN。YARN由资源管理器、节点管理器、应用管理器和容器组成。资源管理器分配资源,节点管理器处理并监控节点中的资源使用情况。容器是所有物理资源的集合。

hadoop是做什么的

假设此时要进行一个任务,那么首先应用管理器要向节点管理器请求容器资源;节点管理器获得资源后,将它们发送给资源管理器。这样YARN在Hadoop中就可以处理作业请求并管理集群资源。

hadoop是做什么的

除了上述三个基础组件,它还有各种大数据工具和框架,用于管理、处理和分析数据。此外还有HIVE、PIG、SPARK、FLUME、SCOOP等等不同功能的组件共同致力于大数据管理。

这就是Hadoop,是一个能够让用户轻松架构和使用的分布式计算平台。

以上带来的Hadoop是如何诞生的 及其 hadoop是做什么的的生活小经验,希望能为您在生活中带来帮助!

相关阅读