Tshebeletso
Mokhoa oa ho hloekisa data oa Spark Streaming
(I) DStream le RDD
Joalo ka ha re tseba, khomphutha ea Spark Streaming e ipapisitse le Spark Core, mme motheo oa Spark Core ke RDD, ka hona, Phallo ea Spark le eona e tlameha ho amana le RDD. Leha ho le joalo, Spark Streaming ha e lumelle basebedisi ho sebelisa RDD ka ho toba, empa e hlalosa sete ea likhopolo tsa DStream, DStream le RDD ke likamano tse kenyeletsang, u ka e utloisisa e le mokhoa oa ho khabisa Java, ke hore, DStream ke ntlafatso ea RDD, empa boitšoaro bo tšoana le RDD.
DStream le RDD ka bobeli li na le maemo a 'maloa.
(1) ba le liketso tse tšoanang tsa phetoho, joalo ka 'mapa, fokotsaByKey, joalo-joalo, empa hape le tse ling tse ikhethang, tse kang Window, mapWithSated, joalo-joalo.
(2) bohle ba na le liketso tsa Action, tse kang foreachRDD, count, joalo-joalo.
Mohlala oa lenaneo o lumellana.
(B) Kenyelletso ea DStream ho Spark Streaming
DStream e na le lihlopha tse 'maloa.
(1) Litlelase tsa mohloli oa data, joalo ka InputDStream, e khethehileng joalo ka DirectKafkaInputStream, joalo-joalo.
(2) Litlelase tsa ho sokoloha, hangata MappedDStream, ShuffledDStream
(3) litlelase tsa tlhahiso, hangata joalo ka ForEachDStream
Ho tloha ho tse ka holimo, lintlha ho tloha qalong (ho kenya) ho ea qetellong (liphetho) li etsoa ke tsamaiso ea DStream, e bolelang hore ka tloaelo mosebeletsi a ke ke a hlahisa le ho laola li-RDD ka ho toba, e leng se bolelang hore DStream e na le monyetla le boikarabelo ba ho ikarabella bakeng sa potoloho ea bophelo ea RDD.
Ka mantsoe a mang, Spark Streaming e na leho hloekisa ka boiketsetsotshebetso.
(iii) Mokhoa oa ho hlahisa RDD ho Spark Streaming
Phallo ea bophelo ea li-RDD ho Spark Streaming e mpe ka tsela e latelang.
(1) InputDStream, data e amohetsoeng e fetoloa RDD, joalo ka DirectKafkaInputStream, e hlahisang KafkaRDD.
(2) ebe ka MappedDStream le phetoho e 'ngoe ea data, nako ena e bitsoa RDD ka kotloloho e tsamaellanang le mokhoa oa' mapa oa ho fetolela.
(3) Ts'ebetsong ea sehlopha sa tlhahiso, ha feela RDD e pepesitsoe, o ka lumella mosebelisi ho etsa polokelo e ts'oanang, lipalo tse ling le lits'ebetso tse ling.
