Tshebeletso
Mokhoa oa ho hloekisa data oa Spark Streaming
(I) DStream le RDD
Joalo ka ha re tseba, khomphutha ea Spark Streaming e ipapisitse le Spark Core, mme motheo oa Spark Core ke RDD, ka hona, Phallo ea Spark le eona e tlameha ho amana le RDD.Leha ho le joalo, Spark Streaming ha e lumelle basebelisi ho sebelisa RDD ka kotloloho, empa e akaretsa sete ea mehopolo ea DStream, DStream le RDD ke likamano tse kenyellelitsoeng, u ka e utloisisa e le mokhoa oa mokhabiso ho Java, ke hore, DStream ke ntlafatso ea RDD, empa boitšoaro bo tšoana le RDD.
DStream le RDD ka bobeli li na le maemo a 'maloa.
(1) ba le liketso tse tšoanang tsa phetoho, joalo ka 'mapa, fokotsaByKey, joalo-joalo, empa hape le tse ling tse ikhethang, tse kang Window, mapWithSated, joalo-joalo.
(2) bohle ba na le liketso tsa Action, tse kang foreachRDD, count, joalo-joalo.
Mohlala oa lenaneo o lumellana.
(B) Kenyelletso ea DStream ho Spark Streaming
DStream e na le lihlopha tse 'maloa.
(1) Litlelase tsa mohloli oa data, joalo ka InputDStream, e khethehileng joalo ka DirectKafkaInputStream, joalo-joalo.
(2) Litlelase tsa ho sokoloha, hangata MappedDStream, ShuffledDStream
(3) litlelase tsa tlhahiso, hangata joalo ka ForEachDStream
Ho tloha ho tse ka holimo, data ho tloha qalong (kenyo) ho ea qetellong (sephetho) e etsoa ke tsamaiso ea DStream, e bolelang hore ka tloaelo mosebedisi a ke ke a hlahisa le ho laola RDDs ka ho toba, ho bolelang hore DStream e na le monyetla le boikarabelo ba ho ba teng. e ikarabellang bakeng sa potoloho ea bophelo ea li-RDD.
Ka mantsoe a mang, Spark Streaming e na leho hloekisa ka boiketsetsotshebetso.
(iii) Mokhoa oa ho hlahisa RDD ho Spark Streaming
Phallo ea bophelo ea li-RDD ho Spark Streaming e mpe ka tsela e latelang.
(1) InputDStream, data e amohetsoeng e fetoloa RDD, joalo ka DirectKafkaInputStream, e hlahisang KafkaRDD.
(2) ebe ka MappedDStream le phetoho e 'ngoe ea data, nako ena e bitsoa RDD ka kotloloho e tsamaellanang le mokhoa oa' mapa oa ho fetolela.
(3) Ts'ebetsong ea sehlopha sa tlhahiso, ha feela RDD e pepesitsoe, o ka lumella mosebelisi ho etsa polokelo e ts'oanang, lipalo tse ling le lits'ebetso tse ling.
