建站
咨詢
售后
建站咨詢
新聞中心
這篇文章給大家介紹Spark知識(shí)點(diǎn)解答有哪些，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
成都創(chuàng)新互聯(lián)為客戶提供專業(yè)的網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、程序、域名、空間一條龍服務(wù)，提供基于WEB的系統(tǒng)開發(fā). 服務(wù)項(xiàng)目涵蓋了網(wǎng)頁設(shè)計(jì)、網(wǎng)站程序開發(fā)、WEB系統(tǒng)開發(fā)、微信二次開發(fā)、成都手機(jī)網(wǎng)站制作等網(wǎng)站方面業(yè)務(wù)。
Spark是一個(gè)實(shí)現(xiàn)快速通用的集群計(jì)算平臺(tái)，它是基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。在大數(shù)據(jù)庫架構(gòu)中常常需要使用Spark，Spark的知識(shí)點(diǎn)一直也是大數(shù)據(jù)面試題的重點(diǎn)，下面整理了Spark知識(shí)點(diǎn)匯總。
1、Spark的核心是什么?
RDD是Spark的基本抽象,是對分布式內(nèi)存的抽象使用，實(shí)現(xiàn)了以操作本地集合的方式來操作分布式數(shù)據(jù)集的抽象實(shí)現(xiàn)。RDD也是Spark非常核心的東西，它表示已被分區(qū)，不可變的并能夠被并行操作的數(shù)據(jù)集合，不同的數(shù)據(jù)集格式對應(yīng)不同的RDD實(shí)現(xiàn)。
RDD必須是可序列化的。RDD可以cache到內(nèi)存中，每次對RDD數(shù)據(jù)集的操作之后的結(jié)果，都可以存放到內(nèi)存中，下一個(gè)操作可以直接從內(nèi)存中輸入，省去了MapReduce大量的磁盤IO操作。這對于迭代運(yùn)算比較常見的機(jī)器學(xué)習(xí)算法, 交互式數(shù)據(jù)挖掘來說，效率提升比較大。
2、Spark的適用場景有哪些?
由于 RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合。總的來說Spark的適用面比較廣泛且比較通用。
3、Spark支持的編程語言有哪幾種?
Spark通過與編程語言集成的方式暴露RDD的操作，類似于DryadLINQ和FlumeJava，每個(gè)數(shù)據(jù)集都表示為RDD對象，對數(shù)據(jù)集的操作就表示成對RDD對象的操作。
Spark主要支持的編程語言是Scala、java、python。
Scala
Spark使用Scala開發(fā)，默認(rèn)使用Scala作為編程語言。編寫Spark程序比編寫Hadoop MapReduce程序要簡單的多，SparK提供了Spark-Shell，可以在Spark-Shell測試程序。
Java
Spark支持Java編程，但對于使用Java就沒有了Spark-Shell這樣方便的工具，其它與Scala編程是一樣的，因?yàn)槎际荍VM上的語言，Scala與Java可以互操作，Java編程接口其實(shí)就是對Scala的封裝。
Python
現(xiàn)在 Spark也提供了Python編程接口，Spark使用py4j來實(shí)現(xiàn)python與java的互操作，從而實(shí)現(xiàn)使用python編寫Spark程序。Spark也同樣提供了pyspark，一個(gè)Spark的python shell，可以以交互式的方式使用Python編寫Spark程序。
關(guān)于Spark知識(shí)點(diǎn)解答有哪些就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。
網(wǎng)站題目：Spark知識(shí)點(diǎn)解答有哪些
本文鏈接：http://ef60e0e.cn/article/pdposg.html
