当前位置：你问我答网 > 综合

MapReduce怎样读取本地目录的文件

2021-11-11 综合 694阅读
只有在客户端提交MapReduce任务的时候才有可能获取本地文件，当MapReduce执行的时候，Map和Redure任务都是分发到不同的节点运行，一般都不是客户端所在的节点，所以没法获取客户端本地文件。但是通过Java IO API应该可以获取Map或者Reduce运行所在节点的本地文件。或者使用Hadoop的DistributedCache将需要使用到的文件缓存在共享存储，以供Map或者Reduce运行时使用
声明：你问我答网所有作品（图文、音视频）均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系fangmu6661024@163.com
0

猜你喜欢