fs.defaultfs详解

小蓝 • 2024-12-10 18:17 • 编程

一、fs.defaultfs是什么

fs.defaultfs是Hadoop分布式文件系统中默认的文件系统URI。

在Hadoop集群中，有许多不同的文件系统可供选择，包括HDFS（Hadoop分布式文件系统）、S3、本地文件系统等等。fs.defaultfs指定我们在使用Hadoop分布式文件系统API时使用哪个文件系统。

例如，在以下示例代码中，如果我们未指定URI，则所使用的文件系统将为fs.defaultfs所配置的文件系统：

FileSystem fs = FileSystem.get(conf);

二、fs.defaultfs与Spark Jar文件处理

当我们使用Spark处理Hadoop文件系统中的Jar文件时，需要使用fs.defaultfs指定所选文件系统而不是本地文件系统。

以下是示例代码：

SparkConf conf = new SparkConf().setAppName("MyApp")
                                 .setMaster("local")
                                 .set("spark.jars", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.driver.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.executor.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("fs.defaultfs", "hdfs://localhost:9000");
JavaSparkContext jsc = new JavaSparkContext(conf);

三、fs.defaultfs未设置的影响

如果您没有设置fs.defaultfs，则可能会在使用HDFS之外的文件系统时遇到问题。

例如，如果您试图使用以下代码创建一个在本地文件系统上的文件：

FileSystem fs = FileSystem.get(new Configuration());
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);

你可能会遇到如下异常：

java.lang.IllegalArgumentException: Wrong FS: file:/path/to/file, expected: hdfs://localhost:9000

这个异常是因为使用了配置为“fs.defaultfs”所描述的默认文件系统（在本例中为HDFS）。

四、使用fs.defaultfs创建ViewFS中的文件

ViewFS是一个允许用户将多个Hadoop文件系统视为单个文件系统的软件.

如果您想要在ViewFS中创建文件，请使用以下代码示例:

Configuration conf = new Configuration();
conf.set("fs.defaultfs", "viewfs://cmbc/");
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);
out.writeBytes("Hello World!");
out.close();

这里，“fs.defaultfs”指向ViewFS的默认文件系统。

请注意，“cmbc”是所需的ViewFs mount table的名称。mount table是一个XML文件，描述了如何将Hadoop文件系统挂在到ViewFS的命名空间。

五、fs.defaultfs和fs.defaultFs的区别

请注意，fs.defaultfs和fs.defaultFs是不同的配置属性。

fs.defaultFs是旧版的配置属性，而fs.defaultfs是新版的配置属性。

fs.defaultFs 提供了与fs.defaultfs相同的功能，但它已被弃用，不建议使用。

因此，为了保持兼容性，请使用fs.defaultfs而不是fs.defaultFs。

六、结论

在Hadoop分布式集群中，选择正确的文件系统非常重要。fs.defaultfs设置用于指定使用哪个文件系统，它可以与HDFS、ViewFS等文件系统一起使用。

Spark用户需要指定fs.defaultfs来确保能够使用Spark处理Hadoop文件系统中的jar文件。fs.defaultfs未设置可能会在使用HDFS之外的文件系统时遇到问题。

fs.defaultfs与fs.defaultFs是不同的配置属性，建议使用新版fs.defaultfs。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/230670.html