Hadoop集群中如何通过web访问HDFS(以及上传下载测试)

作者 : admin 本文共1677个字,预计阅读时间需要5分钟 发布时间: 2024-06-16 共1人阅读

如何通过Web查看hadoop的运行状态

一共有几小部分组成,但是前提你得先在集群系统的hosts文件中添加集群IP映射不难,上操作

首先得关闭虚拟机(hadoop集群)的防火墙,以下是代码,直接复制粘贴即可

systemctl stop firewalld              //关闭防火墙
systemctl disable firewalld           //禁止开机自启动

其次就是IP映射以及查看本机ip地址,我这里使用的是集群1中的ip进行演示
如何配置ip映射?

vi /etc/hosts         //进入文件后按i编辑,在最后另起一行写入你需要映射的IP地址

如何在etc/sysconfig/network-scripts/ifcfg-ens33中编辑IP?进入文件后按照如图红色/黄色画线进行添加,最后对所有代码进行检查

 vi /etc/sysconfig/network-scripts/ifcfg-ens33

Hadoop集群中如何通过web访问HDFS(以及上传下载测试)插图

修改后别忘记重启网卡


nmcli c reload    //重新加载配置文件
nmcli c up ens33      //重新启动ens33网卡

查看IP地址

ip add         //或者   fconfig   也可以

在输入命令后,在下方找到inet,后面的就是你的ip地址
Hadoop集群中如何通过web访问HDFS(以及上传下载测试)插图(1)

最后一步,也是最重要的一步来啦
在计算机浏览器中输入http://:8088/cluster

和http://:50070/dfshealth.html#tab-overview

如果我的:

http://192.168.000.000:8088/cluster
http://192.168.000.000:50070/dfshealth.html#tab-overview

如何进行上传下载测试

如何上传?

首先我们手动设置 Hadoop 环境变量,具体方法如下
在Hadoop的安装目录下修改环境变量

vi ~/.bashrc

在打开的文件末尾添加

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

其中/usr/local/hadoop是你自己的hadoop安装路径,列如我的是 /export/servers/wfb-hadoop/hadoop-2.7.4,那就替换我自己的路径即可,害怕出错的可以参考一下图片
Hadoop集群中如何通过web访问HDFS(以及上传下载测试)插图(2)

保存并退出文件。然后执行以下命令使配置生效

source ~/.bashrc

然后尝试使用 hdfs 命令上传文件在hadoop目录下的bin目录里运行

hdfs dfs -put  /path/to/hdfs/directory/

** 如果在上传过程中出现“ls: `.’: No such file or directory”如何处理?**
== 这个错误提示表明目标路径 /path/to/hdfs/directory/ 不存在。你需要确保该路径是正确的,并且在 HDFS 中已经存在。==

==如果该路径不存在,可以使用 hdfs dfs -mkdir 命令创建该路径。例如,以下命令可以在 HDFS 中创建一个名为 /path/to/hdfs/directory 的目录 ==

hdfs dfs -mkdir -p /path/to/hdfs/directory

如何在进行上传即可

如何下载?

要从 HDFS 下载文件,可以使用 hdfs dfs -get 命令。该命令的语法如下

hdfs dfs -get  

可能会出现的问题,实例:“get: `/path/to/hdfs/directory/123/321/556.txt’: No such file or directory”应该如何解决
** 这个错误提示表明 HDFS 中的目标文件路径不存在。可能原因是你指定的路径不正确,或者文件在上传过程中出现了错误。**

**你可以通过运行 hdfs dfs -ls 命令来检查目标路径是否存在,并查看路径下的文件列表。例如,以下命令可以列出 /path/to/hdfs/directory/ 目录下的所有文件 **

 hdfs dfs -ls /path/to/hdfs/directory/

/path/to/hdfs/directory/是我个人的文件目录,各位根据自身情况进行更改

over!over!over!关注走起!!!!

本站无任何商业行为
个人在线分享 » Hadoop集群中如何通过web访问HDFS(以及上传下载测试)
E-->