AWS Glue, DataBrew, Lambda and Athena වැඩ්ඩන්ගේ උදව් ඕනි

[Djice]

balapan data sets 2 merge karanda puluwanda kiyala - https://aws.amazon.com/about-aws/wh...apache-spark-applications-datasets-amazon-s3/

 

[හෙළයෙක්]

hariyata hari machan. meka thama case eka.

D2 set eka wena Glue job ekak daala D1 ekath ekka check karannath puluwan. but machan meka loop ekak wage grow wenawane digatama. man dan karanne D2 apahu D1 ekath ekka check karala DD kiyala save karanawa. DD kiyana eka hamawelama replace karanawa parana data set ekata.

habai data grow weddi meka reliable solution ekak nemei kiyalai mata hithenne. mokada DD eka winadi 5n 5ta grow wena hinda data wadi unama write karanna yana processing time eka wadi wena eka saha prosseing time eka over 5 mins giyoth ilanga run eka wenne nathi eka.

---

meka thama machan man danata use karanne. but data set eka grow wena hinda glue feture eka hariyatama use karanna baha. mokada Glue eka dups check karanne dataset wise.

past 7 days wala data thamai client koi weleth ewanne. Lambda ekata puluwan nam kalin run una latestma data set record eka API call ekata pass karala aluth data tika witharak illanna...ehenan wade hari. but mata therenne naha ehema karanna puluwanda barida kiyala....
------ Post added on Jul 17, 2023 at 12:48 PM

---

Glue ekei DataBrew ekei meka karanna puluwan machan.
------ Post added on Jul 17, 2023 at 12:49 PM

key value table එකක දාලා බැලුවොත්. Key එක විදියට unique බලන එක දාලා value එක true දාගෙන. දිගටම ඒක cheque කරොත් මොකද.? එතකොට ගොඩක් චෙක් කරන්න නෑනේ. අවුල තියෙන්නේ වෙන table එකක් maintain කරන්න වෙන එක. කොහොම කරත් ආයේ මුළු data ඔක්කොම query කරාට වඩා speed කරගන්න පුළුවන් වෙයි හැබැයි.

සමහර විට ok නැති වෙන්න පුළුවන් උබට handle කරන්න තියෙන data වල ස්වාභාවය අනුව.

 

[lorensuhewa]

balapan data sets 2 merge karanda puluwanda kiyala - https://aws.amazon.com/about-aws/wh...apache-spark-applications-datasets-amazon-s3/

meka ilanga loop ekedi grow wewi yanawane machan....ekai case eka.

---

key value table එකක දාලා බැලුවොත්. Key එක විදියට unique බලන එක දාලා value එක true දාගෙන. දිගටම ඒක cheque කරොත් මොකද.? එතකොට ගොඩක් චෙක් කරන්න නෑනේ. අවුල තියෙන්නේ වෙන table එකක් maintain කරන්න වෙන එක. කොහොම කරත් ආයේ මුළු data ඔක්කොම query කරාට වඩා speed කරගන්න පුළුවන් වෙයි හැබැයි.

සමහර විට ok නැති වෙන්න පුළුවන් උබට handle කරන්න තියෙන data වල ස්වාභාවය අනුව.

meka nam goda yai wage machan. karala balala update ekak dennan....thankx brother.
------ Post added on Jul 18, 2023 at 1:33 PM

 

[හෙළයෙක්]

meka ilanga loop ekedi grow wewi yanawane machan....ekai case eka.

---

meka nam goda yai wage machan. karala balala update ekak dennan....thankx brother.
------ Post added on Jul 18, 2023 at 1:33 PM

එල අනිවා කියන්න.

 

[Djice]

meka karapan. glue walin track karanawa iwara wechcha thana - https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html