hadoop 依赖式job_Hadoop Job使用第三方依赖jar文件

当我们实现了一个Hadoop MapReduce Job以后，而这个Job可能又依赖很多外部的jar文件，在Hadoop集群上运行时，有时会出现找不到具体Class的异常。出现这种问题，基本上就是在Hadoop Job执行过程中，没有从执行的上下文中找到对应的jar文件(实际是unjar的目录，目录里面是对应的Class文件)。所以，我们自然而然想到，正确配置好对应的classpath，MapReduce Job运行时就能够找到。

有两种方式可以更好地实现，一种是设置HADOOP_CLASSPATH，将Job所依赖的jar文件加载到HADOOP_CLASSPATH，这种配置只针对该Job生效，Job结束之后HADOOP_CLASSPATH会被清理；另一种方式是，直接在构建代码的时候，将依赖jar文件与Job代码打成一个jar文件，这种方式可能会使得最终的jar文件比较大，但是结合一些代码构建工具，如Maven，可以在依赖控制方面保持一个Job一个依赖的构建配置，便于管理。下面，我们分别说明这两种方式。

设置HADOOP_CLASSPATH

比如，我们有一个使用HBase的应用，操作HBase数据库中表，肯定需要ZooKeeper，所以对应的jar文件的位置都要设置正确，让运行时Job能够检索并加载。

Hadoop实现里面，有个辅助工具类org.apache.hadoop.util.GenericOptionsParser，能够帮助我们加载对应的文件到classpath中，操作比较容易一些。

下面我们是我们实现的一个例子，程序执行入口的类，代码如下所示：

可以看到，我们可以通过-libjars选项来指定该Job运行所依赖的第三方jar文件，具体使用方法，说明如下：

第一步：设置环境变量

我们修改.bashrc文件，增加如下配置内容：

不要忘记要使当前的配置生效：

这样就可以方便地引用外部的jar文件了。

第二步：确定Job依赖的jar文件列表

上面提到，我们要使用HBase，需要HBase和ZooKeeper的相关jar文件，用到的文件如下所示：

设置当前Job执行的HADOOP_CLASSPATH变量，只对当前Job有效，所以没有必要在.bashrc中进行配置。

第三步：运行开发的Job

运行我们开发的Job，通过命令行输入HADOOP_CLASSPATH变量，以及使用-libjars选项指定当前这个Job依赖的第三方jar文件，启动命令行如下所示：

需要注意的是，环境变量中内容使用冒号分隔，而-libjars选项中的内容使用逗号分隔。

这样，我们就能够正确运行开发的Job了。

下面看看我们开发的Job运行的结果：

可以看到，除了加载Hadoop对应的HADOOP_HOME变量指定的路径下，lib*目录下的jar文件以外，还加载了我们设置的-libjars选项中指定的第三方jar文件，供Job运行时使用。

将Job代码和依赖jar文件打包

我比较喜欢这种方式，因为这样做首先利用饿Maven的很多优点，如管理依赖、自动构建。另外，对于其他想要使用该Job的开发人员或部署人员，无需关系更多的配置，只要按照Maven的构建规则去构建，就可以生成最终的部署文件，从而也就减少了在执行Job的时候，出现各种常见的问题(如CLASSPATH设置有问题等)。

使用如下的Maven构建插件配置，执行mvn package命令，就可以完成这些任务：

最后生成的jar文件在target目录下面，例如名称类似solr-platform-2.0-jar-with-dependencies.jar，然后可以直接拷贝这个文件到指定的目录，提交到Hadoop计算集群运行。

总结

以上是生活随笔为你收集整理的hadoop 依赖式job_Hadoop Job使用第三方依赖jar文件的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。