spark连接mysql(scala)版本

最近在了解学习大数据相关的内容,然后一般来说。连接数据库或者Hive等数据源是比较重要的部分,所以在这里先尝试了使用mysql作为数据源来连接并在控制台展示数据

    val conf = new SparkConf().setAppName("SparkMysql").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val properties = new Properties()
    properties.put("user","root")
    properties.put("password","root")
    val url = "jdbc:mysql://localhost:3306/imooc-video?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
    val stud_scoreDF = sqlContext.read.jdbc(url,"bgm",properties)
    stud_scoreDF.show()

其中第一行最后的setMaster选择模式比较重要。因为此时我们并没有放到spark上去运行,仅仅只是本地运行。所以这里要指定运行模式为local。。否则会出现错误

org.apache.spark.SparkException: A master URL must be set in your config

最后从数据库取出的数据展示如下
在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__0809 返回首页