MapReduce怎样读取本地目录的文件

2021-11-11 综合 643阅读
只有在客户端提交MapReduce任务的时候才有可能获取本地文件,当MapReduce执行的时候,Map和Redure任务都是分发到不同的节点运行,一般都不是客户端所在的节点,所以没法获取客户端本地文件。但是通过Java IO API应该可以获取Map或者Reduce运行所在节点的本地文件。或者使用Hadoop的DistributedCache将需要使用到的文件缓存在共享存储,以供Map或者Reduce运行时使用
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com