计算机毕业设计Python+Spark新能源汽车推荐系统 汽车大数据 汽车数据分析 汽车可视化 汽车爬虫 大数据毕业设计 大数据毕设 知识图谱 深度学习

黄河交通学院本科毕业设计（论文）任务书

学院：智能工程学院

备注：1.任务书由指导教师填写并下发给学生；若是学生自选设计（论文）题目，任务书可在导师指导下由学生填写；

2.本表一式四份，在毕业设计（论文）开始前提交，学院、系（教研室）、导师、学生各一份。

核心算法代码分享如下：

package com.sql

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.junit.Test

import java.util.Properties

class CarSpark2024_FixBug {
  val spark = SparkSession.builder()
    .master("local[6]")
    .appName("懂车帝数据实时计算V1.0")
    .getOrCreate()
  //汽车数仓CSV 模式
  val ods_car_Schema = StructType(
    List(
      StructField("car_id", StringType),
      StructField("concern_id", StringType),
      StructField("car_name", StringType),
      StructField("dealer_max_price",FloatType),
      StructField("dealer_min_price", FloatType),
      StructField("max_price", FloatType),
      StructField("min_price",FloatType),
      StructField("dealer_price", StringType),
      StructField("cover_img", StringType),
      StructField("comment_num", IntegerType),
      StructField("comment_result", StringType),
      StructField("score", FloatType),
      StructField("rank_tips", StringType),
      StructField("wg_score", StringType),
      StructField("ns_score", StringType),
      StructField("pz_score", StringType),
      StructField("kj_score", StringType),
      StructField("ck_score", StringType),
      StructField("dl_score", StringType),
      StructField("car_type", StringType),
      StructField("car_rank", IntegerType)

    )
  )

  val ods_car_Df = spark.read.option("header", "false").schema(ods_car_Schema).csv("hdfs://bigdata:9000/cars2024/cars/cars.csv")





  @Test
  def init(): Unit = {
    //school_province_score_Df.show()
    //ods_courses_Df.show()
    ods_car_Df.show()
    //school_special_score_Df.show()
    //school_Df.show()
    //ruanke_rank_Df.show()
    //qs_world_Df.show()
  }



//  ----剩余使用spark_sql完成
//   --指标8:汽车价格区间Spark
  @Test
  def tables08(): Unit = {
  ods_car_Df.createOrReplaceTempView("ods_car")
    val df2 = spark.sql(
      """

      select '1-10万' fw,count(1) num  from ods_car where dealer_min_price >0 and dealer_max_price 10 and dealer_max_price 15 and dealer_max_price 20 and dealer_max_price 30 and dealer_max_price 40



    """)
    df2
//      .show(50)
     .coalesce(1)
      .write
      .mode("overwrite")
      .option("driver", "com.mysql.cj.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .jdbc(
        "jdbc:mysql://bigdata:3306/hive_car?useSSL=false",
        "table08",
        new Properties()
      )
  }

//  --指标9：六项指标综合得分Top10汽车Spark
  @Test
  def tables09(): Unit = {
    ods_car_Df.createOrReplaceTempView("ods_car")
    val df2 = spark.sql(
      """

          select car_name,score
          from ods_car
          order by score desc
          limit 20



    """)
    df2
      //      .show(50)
      .coalesce(1)
      .write
      .mode("overwrite")
      .option("driver", "com.mysql.cj.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .jdbc(
        "jdbc:mysql://bigdata:3306/hive_car?useSSL=false",
        "table09",
        new Properties()
      )
  }




}