Windows下Eclispe远程开发Mapreduce程序

论坛 期权论坛 编程之家     
选择匿名的用户   2021-5-29 08:33   30   0

1.安装插件

1).hadoop-eclipse-plugin-2.6.0.j ar 拷贝到${MyEclispe_HOME} /plugins

2).打开MyEclispe,菜单栏->windows->Preferneces->Hadoop MapReduce,点击Browse,设置${MyEclispe_HOME}目录

2.Windows安装hadoop

1)解压hadoop-2.5.0.tar.gzD:/根目录

2)配置hadoop的环境变量

点击计算机—》系统属性—》高级系统配置—》环境变量—》系统变量下 ,新建——》变量名设置为HADOOP_HOME,变量值设为Hadoop的目录路径


—》点击确定键

找到Path变量,双击,在变量值的最后,加上 ;%HADOOP_HOME%\bin


配置完之后,打开cmd命令,输入 hadoop -version


点击回车之后,出现以下代码,表示配置成功

3.配置插件参数

打开myEclipse ,点击 菜单栏Window—》Open Perspective—》other—》Map/Reduce


在控制台会出现


随便空白处右键—》点击New Hadoop location


MavreduceV2

host: [hostname]

port8032 //resourcemanager 的默认端口号

DFS Master

host:[hostname]

port8020


然后点击Finish结束

3.拷贝winutils.exe hadoop.dll${hadoop_HOME}/bin

4.单独拷贝hadoop.dllC:\Windows\System32

5.进入maven安装目录

1、解压apache-maven-3.0.5.tar.gz

2、配置maven环境变量

MAVEN_HOME=[maven的解压目录]

path=%MAVEN_HOME%/bin

打开cmd命令提示符 mvn --v


表示配置完成

4、修改apache-maven-3.0.5\conf\settings.xml

<localRepository>D:repository (仓库目录路径,选择内存较大的盘符,并创建该目录)</localRepository>

5、解压repository.tar.gzsettings.xml配置文件中指定的repository

6、MyEclipse做出相应的配置

点击菜单栏Window—》preferences—》MyEclipse—》Maven4MyEclipse—》

1、Installations—》Add,找到apache-maven-3.5.0的解压目录


2、User Settings—》Browse—》找到setting.xml的目录,点击确定即可


7、创建一个Maven项目

点击菜单栏File—》New—》Other—》Maven Project


—》点击Next—》可选择项目路径


—》点击Next —》选择quickstart


—》点击Next —》在Group Id内和Artifact Id内,写入包名,可自定义


—》点击Finish完成创建

8、 修改Pom.xml文件

<dependencies>

<dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

<version>4.10</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.5.0</version>

</dependency>

</dependencies>

将此代码覆盖原文件代码


覆盖之后,查看Maven Depenencies


出现jar包即成功

9、修改JRE版本


MyEclipse默认为jdk1.5版本

JRE处点击右键—》Build Path—》Configur Build Path



点击Add Library


点击JRE System Library


点击默认即可


分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP