Spark 2.0中使用DataFrames和SQL的第一步

　　Spark 2.0開(kāi)發(fā)的一個(gè)動(dòng)機(jī)是讓它可以觸及更廣泛的受眾，特別是缺乏編程技能但可能非常熟悉SQL的數(shù)據(jù)分析師或業(yè)務(wù)分析師。因此，Spark 2.0現(xiàn)在比以往更易使用。在這部分，我將介紹如何使用Apache Spark 2.0。并將重點(diǎn)關(guān)注DataFrames作為新Dataset API的無(wú)類型版本。

　　到Spark 1.3，彈性分布式數(shù)據(jù)集（Resilient Distributed Dataset，RDD）一直是Spark中的主要抽象。RDD API是在Scala集合框架之后建模的，因此間接提供了Hadoop Map / Reduce熟悉的編程原語(yǔ)以及函數(shù)式編程（Map、Filter、Reduce）的常用編程原語(yǔ)。雖然RDD API比Map / Reduce范例更具表達(dá)性，但表達(dá)復(fù)雜查詢?nèi)匀缓芊爆崳貏e是對(duì)于來(lái)自典型數(shù)據(jù)分析背景的用戶，他們可能熟悉SQL，或來(lái)自R/Python編程語(yǔ)言的數(shù)據(jù)框架。

　　Spark 1.3引入了DataFrames作為RDD頂部的一個(gè)新抽象。DataFrame是具有命名列的行集合，在R和Python相應(yīng)包之后建模。

　　Spark 1.6看到了Dataset類作為DataFrame的類型化版本而引入。在Spark 2.0中，DataFrames實(shí)際上是Datasets的特殊版本，我們有type DataFrame = Dataset ［Row］，因此DataFrame和Dataset API是統(tǒng)一的。

　　表面上，DataFrame就像SQL表。Spark 2.0將這種關(guān)系提升到一個(gè)新水平：我們可以使用SQL來(lái)修改和查詢DataSets和DataFrames。通過(guò)限制表達(dá)數(shù)量，有助于更好地優(yōu)化。數(shù)據(jù)集也與Catalyst優(yōu)化器良好集成，大大提高了Spark代碼的執(zhí)行速度。因此，新的開(kāi)發(fā)應(yīng)該利用DataFrames。

　　在本文中，我將重點(diǎn)介紹Spark 2.0中DataFrames的基本用法。我將嘗試強(qiáng)調(diào)Dataset API和SQL間的相似性，以及如何使用SQL和Dataset API互換地查詢數(shù)據(jù)。借由整個(gè)代碼生成和Catalyst優(yōu)化器，兩個(gè)版本將編譯相同高效的代碼。

　　代碼示例以Scala編程語(yǔ)言給出。我認(rèn)為這樣的代碼最清晰，因?yàn)镾park本身就是用Scala編寫(xiě)的。

　　?SparkSession

　　SparkSession類替換了Apache Spark 2.0中的SparkContext和SQLContext，并為Spark集群提供了唯一的入口點(diǎn)。

　　為了向后兼容，SparkSession對(duì)象包含SparkContext和SQLContext對(duì)象，見(jiàn)下文。當(dāng)我們使用交互式Spark shell時(shí)，為我們創(chuàng)建一個(gè)名為spark的SparkSession對(duì)象。

　　?創(chuàng)建DataFrames

　　DataFrame是具有命名列的表。最簡(jiǎn)單的DataFrame是使用SparkSession的range方法來(lái)創(chuàng)建：

　　使用show給我們一個(gè)DataFrame的表格表示，可以使用describe來(lái)獲得數(shù)值屬性概述。describe返回一個(gè)DataFrame：

?

相關(guān)電子資料下載