Spark开发环境配置

要开发Spark程序,当然少不了要配置开发环境,本文将会带领大家如何在Windows和Linux上搭建开发环境。

Windows篇

下载

在开始配置前,首先需要下载搭建开发环境所必须的文件:

  1. Hadoop
  2. Spark
  3. winutils

上述列表中的文件下载完成后,Hadoop和Spark可解压至任意目录(读者自己决定即可)。

比较特别的是winutils,在Windows环境下要对Hadoop进行调试开发必须要添加winutils组件,即把winutils压缩包下的所有文件全部放到Hadoop的bin目录下。

配置

配置开发环境其实很简单,只需要分别为Hadoop和Spark配置对应的环境变量HADOOP_HOME和SPAEK_HOME即可。

配置Hadoop

进入windows的环境变量配置,并新建变量:

变量
HADOOP_HOME 你的hadoop的根目录路径

配置Spark

进入windows的环境变量配置,并新建变量:

变量
SPARK_HOME 你的spark的根目录路径

当然,如果需要在命令行中使用spark的命令,可以在path变量中加入spark的bin目录路径:

变量
path %SPARK_HOME%\bin

至此,Windows篇的Spark开发环境就配置完成了。

结束语

spark的开发环境配置其实和Java的开发环境配置一样,唯一的区别是windowns下需要额外添加winutils的相关文件。

至于Linix部分,会在后续进行跟新。