Spark1.0新特性-->Spark SQL

Spark1.0出来了，变化还是挺大的，文档比以前齐全了，RDD支持的操作比以前多了一些，Spark on yarn功能我居然跑通了。但是最最重要的就是多了一个Spark SQL的功能，它能对RDD进行Sql操作，目前它只是一个alpha版本，喜欢尝鲜的同志们进来看看吧，下面是它的官网的翻译。

Spark SQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL从hive里面读取数据。

下面是一些案例，可以在Spark shell当中运行。

首先我们要创建一个熟悉的Context，熟悉spark的人都知道吧，有了Context我们才可以进行各种操作。

val sc: SparkContext // 已经存在的SparkContext
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

import sqlContext._

Running SQL on RDDs

 Spark SQL支持的一种表的类型是Scala的case class，case class定义了表的类型，下面是例子：

这个功能看起来还挺像样，前面两个看起来就像渣一样，没劲儿，不知道为什么不自带那些依赖，还要我们再编译一下，但是我下的那个版本运行的时候提示我已经编译包括了hive的。尼玛，真恶心。

Spark1.0新特性-->Spark SQL,布布扣,bubuko.com