Exception in thread main java.io.IOException: No FileSystem for scheme: hdfs

如果是命令行spark-submit运行时出现这个问题，那么：

import org.apache.spark.sql.{Dataset, SparkSession}val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").config("spark.serializer", classOf[KryoSerializer].getName).getOrCreate();spark.conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") spark.conf.set("fs.file.impl","org.apache.hadoop.fs.LocalFileSystem")

#---------------------------------------------------------------------------------
如果是intellij中出现这个问题，那么intellij界面中按下alt+shift+ctrl+s后导入
~/bigdata/hadoop-2.7.7/share/hadoop/hdfs/hadoop-hdfs-2.7.7.jar
即可。

总结

以上是生活随笔为你收集整理的Exception in thread main java.io.IOException: No FileSystem for scheme: hdfs的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。