大数据之HDFS磁盘扩容(linux磁盘扩容)

之所以扩容,是因为当前大数据平台已经接入了不同来源的数据,当执行mapreduce任务时,会发生磁盘爆满,导致hdfs爆红

具体扩容方案如下:

1、查看云磁盘分区情况

fdisk -l

. 

可以从图看出：

/dev/vda 数据盘磁盘容量为21.5GB，包含/dev/vda1分区

/dev/vdb 数据盘磁盘容量为53.7GB，包含/dev/vdb1分区

2、确认已有分区的文件系统类型

df -TH

结果如下:

可以从图看出：

/dev/vda1 分区容量为22G，文件系统类型为xfs，已挂载至/

/dev/vdb1 分区容量为32G，文件系统类型为ext4，已挂载至/www

4.

扩容分区表

 执行以下命令，使用growpart工具扩容分区

本文以扩容/dev/vdb1 分区为例，命令中/dev/vdb 与1之间需要使用空格分隔

growpart /dev/vdb 1

扩容文件系统

1、根据上文步骤2获取到的文件系统类型，执行对应的命令扩容文件系统：

(1) ext文件系统: resize2fs /dev/vdb1

(2) xfs文件系统: xfs_growfs /dev/vda1

返回结果如下：

2、执行以下命令，查看扩容结果

df -TH 

返回结果如下，则表示已扩容成功（/dev/vdb1分区由32G扩容至53G）

常用命令

fdisk -l
growpart /dev/vdb 1
blkid
vgs
lvs
pvs
growpart /dev/vdb 1
resize2fs /dev/vdb
df -h
df -lh
fdisk -l
vim /etc/fstab 
mkfs.ext4 /dev/vdc
mkfs.ext4 /dev/vdd
mount /dev/vdc /data2
mount /dev/vdd /data3