大数据实训项目(小麦种子)-04、大数据实训项目JavaWeb环境搭建
文章目录
- 前言
- 运行前准备工作
- 1、安装Hadoop3.1.0配置winutils
- 原因描述
- 配置方式
- 注意点（hadoop.dll拷贝System32目录下）
- 2、hive运行报错（The dir: /tmp/hive on HDFS should be writable. ）
- 项目环境搭建
- 参考资料
前言
博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。
涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。
博主所有博客文件目录索引：博客目录索引(持续更新)
视频平台：b站-Coder长路
本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY
运行前准备工作
1、安装Hadoop3.1.0配置winutils
原因描述
同可见类似博文：https://blog.csdn.net/lvoelife/article/details/133349627
若是不安装对应hadoop的winutils会出现报错not found，在初始化的时候。
配置方式
①解压3.1.0的haodoop压缩包
将本期虚拟机安装Hadoop压缩包解压：
②配置指定Hadoop版本的winutils工具
接着去github下载相应你对应Hadoop的版本：https://github.com/cdarlint/winutils
我给到的软件包已经把winutils下载下来了，解压就在里面：
操作内容：打开winutils文件，把指定hadoop3.1.0里面的bin文件复制到hadoop的安装路径，替换掉原来的bin文件。
替换原本hadoop3.1.0的bin目录（目前我修改了路径hadoop3的目录）,替换即可：
③配置Hadoop的环境变量
HADOOP_HOME
D:\softwares\Java\server\hadoop\hadoop-3.1.0
配置完成，之后window环境web项目上传文件的时候会取到这个环境变量来定位bin目录去执行winutils。
注意点（hadoop.dll拷贝System32目录下）
注意：将替换后的hadoop-3.1.0中的bin文件夹下的hadoop.dll拷贝到C:\Windows\System32目录下。
2、hive运行报错（The dir: /tmp/hive on HDFS should be writable. ）
出现问题：
- IDEA连接不上hive。
- 当前服务器运行hive出现下面报错。
解决方案：
hadoop fs -chmod -R 777 /tmp
项目环境搭建
准备内容：tomcat8.5.72、JDK
项目导入见B站第一集：
导入之后先将运行前准备工作做好，接着往下：
1、首先将虚拟机上的所有服务启动好。
2、将IDEA中小麦种子的IP地址全部替换为虚拟机的IP地址，接着即可将web服务启动，进行功能实操。
整个实操见第二个文档：02、大数据实训项目(小麦种子)功能演示。
参考资料
[1]. Eclipse配置本地Hadoop开发环境 解决Hadoop问题—HADOOP_：https://download.csdn.net/blog/column/9816387/105248496
