conf参数更改Warehouse目录

第一节创建mydb数据库后，执行describe命令，看到它在HDFS的/user/spark/warehouse目录下：

image-20240218120541730

这个Warehouse目录是可以指定的，默认是在/etc/spark/conf/spark-defaults.conf中配置：

image-20240218132106208

手动指定

在运行Spark SQL Shell时，也可以手动指定这个位置：

spark-sql --conf "spark.sql.warehouse.dir=hdfs://ip-172-31-32-28.us-west-2.compute.internal:8020/user/root/testdir/warehouse"

create database mydb3;

创建一个数据库mydb3，它的位置已经变为上面设置的目录：

image-20240218132557842

使用hdfs命令也可以确认：

hdfs dfs -ls /user/root/testdir/warehouse/

image-20240218132635005