第一个Spark程序之Spark本地程序

程序和源数据均为本地

源数据和程序代码

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

object SQLContextApp {

  def main(args: Array[String]){

    val path = args(0)
    val sparkConf = new SparkConf()
    //此代码在linu环境上由脚本命令指定
    sparkConf.setAppName("SQLContextApp").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    val sqlcontext = new SQLContext(sc)

    val people = sqlcontext.read.format("json").load(path)

    people.printSchema()
    people.show()

    sc.stop()

  }
}

args在configuration中指定
在这里插入图片描述

运行结果

在这里插入图片描述

在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__0809 返回首页