Pspark从hive读数据写到Pgsql数据库
前提条件
要使用PySpark从Hive读取数据并写入到PostgreSQL数据库,你需要确保以下几点:
你的PySpark环境已经配置好,并且能够连接到你的Hive数据。
PostgreSQL JDBC驱动程序已经添加到你的PySpark环境中。
你已经在PostgreSQL中创建好了相应的数据库和表。
二、实现代码
from pyspark.sql import SparkSession from pyspark.sql.functions import * # 创建SparkSession,确保启用Hive支持 spark = SparkSession.builder \ .appName("HiveToPostgreSQL") \ .config("spark.sql.warehouse.dir", "") \ .enableHiveSupport() \ .getOrCreate() # 使用Hive表名称来创建Spark DataFrame hive_table = "hive_database.hive_table" df = spark.table(hive_table) # 配置JDBC连接参数 url = "jdbc:postgresql://:/" properties = { "user": "", "password": "", "driver": "org.postgresql.Driver" } # 将DataFrame写入PostgreSQL df.write.jdbc(url, "target_table", properties=properties) # 停止SparkSession spark.stop()