[Help] DB Value Convert to Json File

[baba-chuti]

මගේ MysqlDB එකේ Data තියෙනවා 1 million records කියලා හිතන්නකෝ. මම මේ Data ටික Json File එකක් විදියට Save කරලා ගත්තම Size එක 370Mb. Ex: myrecord.json

මම Search Query කරනකොට අර Json File (Hosted in shared hosting) එකේන් query කරලා ගන්න එක DB එකෙන් Query කරලා ගන්න එකට වඩා Speed ද? උඹලා මීට කලින් මේ වගේ කරලා තියෙයිද?

 

[Gwynbleidd]

Bump.

DB faster neh indexing ehm tyna hi da. Mn dn na hbi owa

 

[roshan fernando]

File ekata wada DB eka fast mcn, ewa data CRUD walata optimise karala thiyenne. Store karala thiyenneth oya wage format walin newei

 

[HAneo]

මගේ MysqlDB එකේ Data තියෙනවා 1 million records කියලා හිතන්නකෝ. මම මේ Data ටික Json File එකක් විදියට Save කරලා ගත්තම Size එක 370Mb. Ex: myrecord.json

මම Search Query කරනකොට අර Json File (Hosted in shared hosting) එකේන් query කරලා ගන්න එක DB එකෙන් Query කරලා ගන්න එකට වඩා Speed ද? උඹලා මීට කලින් මේ වගේ කරලා තියෙයිද?

ඇයි මචන් ලොකු රෙකෝඩ් ප්‍රමාණයක් ඩම්ප් කරලා ජේසන් එකක් හදන්නේ? මොකක්ද පර්පස් එක? DB එකෙන් කුවෙරි කරන එක තමා ෆාස්ට්. අපි සාමන්යෙන් json පාවිච්චි කරන්නේ මොක් ඩේටා හදාගන්න දෙයක් DB නැතුව රන් කරන්න පුළුවන් වෙන්න. එකේදී ඔය රෙකෝඩ් 1-100 විතර ප්‍රමාණයක් දාල තමා බලන්නේ. ඒ ඇරෙන්න ඔය තරම් ලොකු Json ෆයිල් එකක් නම් කොහොමත් පාවිච්චි කරන්නේ නැ .

 

[baba-chuti]

ඇයි මචන් ලොකු රෙකෝඩ් ප්‍රමාණයක් ඩම්ප් කරලා ජේසන් එකක් හදන්නේ? මොකක්ද පර්පස් එක? DB එකෙන් කුවෙරි කරන එක තමා ෆාස්ට්. අපි සාමන්යෙන් json පාවිච්චි කරන්නේ මොක් ඩේටා හදාගන්න දෙයක් DB නැතුව රන් කරන්න පුළුවන් වෙන්න. එකේදී ඔය රෙකෝඩ් 1-100 විතර ප්‍රමාණයක් දාල තමා බලන්නේ. ඒ ඇරෙන්න ඔය තරම් ලොකු Json ෆයිල් එකක් නම් කොහොමත් පාවිච්චි කරන්නේ නැ .

man stellar shared hoting eke dala tiyenne. users 10 vitra awilla poddak search parak dapu gaman mysql usage eke full wenawa. low budget eken try karnna baluwe ekai db eke use wenne natuwa karnna baluwe.

 

[Gwynbleidd]

man stellar shared hoting eke dala tiyenne. users 10 vitra awilla poddak search parak dapu gaman mysql usage eke full wenawa. low budget eken try karnna baluwe ekai db eke use wenne natuwa karnna baluwe.

Query ek optimized d, api azure eken postgre ekak arn thibba, eke usage eka 100% giya ita passe 2x wadi kara eth record poddak aye add unot ekat 100% yanawa gahala thiyana query stored procedure optimized nati hinda,

 

[siri_ayya]

man stellar shared hoting eke dala tiyenne. users 10 vitra awilla poddak search parak dapu gaman mysql usage eke full wenawa. low budget eken try karnna baluwe ekai db eke use wenne natuwa karnna baluwe.

අද කාලේ මොන app එකක් host කරන්න ගියත් හරහට හිටින්නේ database cost ඒක බන්.. Mysql හොඳ hosting පට්ට ගණන්.. මන් පස්සෙ aws dynamodb වලට ගියා ඒක pay as you go නිසා.. කට්ටිය කියනවා එකත් high user traffic එකකදී ගනං වැඩි කියල

 

[Kalegana]

bump තමයි මචන්.,. හෙල්ප් එකක් දෙන්න කව්රු හරි..

 

[HAneo]

Query ek optimized d, api azure eken postgre ekak arn thibba, eke usage eka 100% giya ita passe 2x wadi kara eth record poddak aye add unot ekat 100% yanawa gahala thiyana query stored procedure optimized nati hinda,

සරලව කිව්වොත් අපි ඔය වගේ ලොකු ඩේටා එක්ක වැඩ කරනකොට පාවිච්චි කරන ටෙක්නික් ගොඩක් තියනවා.
එකෙන් වඩා වැදගත් වෙන දෙකක් තමා normalization and denormalization කියන දෙක. මේක පැහැදිලි කරන්න වෙලාවක් නැ ලොකු සබ්ජෙක්ට් එකක් නිසා. ඔය දෙක පාදක කරගත්ත දෙටබෙස් තියරි දෙකක් තියනවා.ලොකු ඩේටා සෙට් එකක් එක්ක වැඩ කරනකොට අපි OLTP සහ OLAP කියන දෙක ඕනේ වෙනවා. මේ දෙක ගැන වැඩිපුර හොයන්න.

OLTP කියන්නේ normalization පාට් එක වැඩිපුර දෙන එකක්. මේකෙන් කරන්නේ ඩේටා සේව් කරන එක ඔප්ටිමයිස් කරන එක. එකෙන් ඔයාගේ ඩේටා සේව් කරන ට්‍රාන්සක්ෂන් Query ස්පීඩ් වෙනවා.

OLAP කියන්නේ ඔයාගේ ඩේටා Query කරන ස්පීඩ් එක වැඩි කරන ටෙක්නික් එකක්. මේක denormalization කියන තියරි එක පාවිච්චි වෙන තැනක්.

උදාහරණ : හිතන්න order ටේබල් එකේ තියනවා customer ගේ ඩේටා. දැන් ඔයා කස්ටමර් ID එක තමා රෙඵරන්ස් එකට තියාගෙන ඉන්නේ 1 to * වෙන්න customer ටේබල් එක එක්ක. මෙන්න මේ වගේ එකක Query කරන කොට join එකක් වදිනවා නේ. ඒ කියන්නේ කෝස්ට් එකක් යනවා. මේක නැති කරන්න අපි වෙනම ඩේටා බේස් එකක හෝ ටේබල් එකක මේ ඩේටා දිගැරලා ගහගන්නවා. එකෙන් ඔයා ඒ ටේබල් එකේ index එකෙන් බලල එක රෙකෝඩ් එකක් ගත්තම එකේ ඔක්කොම ඩේටා ටික තියනවා. ඔන්න ඕක තමා OLAP කියන්නේ. මේකෙදි data update වෙනකොට OLAP පැත්ත එකම තැනකින් අප්ඩේට් වෙන්න ඕනේ

වැඩිපුර විස්තර ඕනේ නම් අහපන්

 

[Gwynbleidd]

සරලව කිව්වොත් අපි ඔය වගේ ලොකු ඩේටා එක්ක වැඩ කරනකොට පාවිච්චි කරන ටෙක්නික් ගොඩක් තියනවා.
එකෙන් වඩා වැදගත් වෙන දෙකක් තමා normalization and denormalization කියන දෙක. මේක පැහැදිලි කරන්න වෙලාවක් නැ ලොකු සබ්ජෙක්ට් එකක් නිසා. ඔය දෙක පාදක කරගත්ත දෙටබෙස් තියරි දෙකක් තියනවා.ලොකු ඩේටා සෙට් එකක් එක්ක වැඩ කරනකොට අපි OLTP සහ OLAP කියන දෙක ඕනේ වෙනවා. මේ දෙක ගැන වැඩිපුර හොයන්න.

OLTP කියන්නේ normalization පාට් එක වැඩිපුර දෙන එකක්. මේකෙන් කරන්නේ ඩේටා සේව් කරන එක ඔප්ටිමයිස් කරන එක. එකෙන් ඔයාගේ ඩේටා සේව් කරන ට්‍රාන්සක්ෂන් Query ස්පීඩ් වෙනවා.

OLAP කියන්නේ ඔයාගේ ඩේටා Query කරන ස්පීඩ් එක වැඩි කරන ටෙක්නික් එකක්. මේක denormalization කියන තියරි එක පාවිච්චි වෙන තැනක්.

උදාහරණ : හිතන්න order ටේබල් එකේ තියනවා customer ගේ ඩේටා. දැන් ඔයා කස්ටමර් ID එක තමා රෙඵරන්ස් එකට තියාගෙන ඉන්නේ 1 to * වෙන්න customer ටේබල් එක එක්ක. මෙන්න මේ වගේ එකක Query කරන කොට join එකක් වදිනවා නේ. ඒ කියන්නේ කෝස්ට් එකක් යනවා. මේක නැති කරන්න අපි වෙනම ඩේටා බේස් එකක හෝ ටේබල් එකක මේ ඩේටා දිගැරලා ගහගන්නවා. එකෙන් ඔයා ඒ ටේබල් එකේ index එකෙන් බලල එක රෙකෝඩ් එකක් ගත්තම එකේ ඔක්කොම ඩේටා ටික තියනවා. ඔන්න ඕක තමා OLAP කියන්නේ. මේකෙදි data update වෙනකොට OLAP පැත්ත එකම තැනකින් අප්ඩේට් වෙන්න ඕනේ

වැඩිපුර විස්තර ඕනේ නම් අහපන්

me project eka mama intern iddi karapu ekak, eweddi owa danan hitiye na table 13k + views withara thibba mathaka widihata, hariyata experiance nathi hinda thama oya issue eka une. OLAP sambanadawa thama case eka, OLTP patthen case ekak awe na. thanks for the explanation. going to use this in my job.

 

[pathumputha]

DB එක ෆාස්ට්

 

[HAneo]

me project eka mama intern iddi karapu ekak, eweddi owa danan hitiye na table 13k + views withara thibba mathaka widihata, hariyata experiance nathi hinda thama oya issue eka une. OLAP sambanadawa thama case eka, OLTP patthen case ekak awe na. thanks for the explanation. going to use this in my job.

These technologies will not be used alone.
they will be combing with database sharding. this will be used when it comes to Millions of records.

I think you may first study these and put them into your pet projects. simulate millions of records and see them in action. in your local system, you will not feel a big difference. deploy them into the cloud and then you see the difference. and then start fine-tuning

 

[Gwynbleidd]

These technologies will not be used alone.
they will be combing with database sharding. this will be used when it comes to Millions of records.

I think you may first study these and put them into your pet projects. simulate millions of records and see them in action. in your local system, you will not feel a big difference. deploy them into the cloud and then you see the difference. and then start fine-tuning

the issue was coming around when there was 70K+ records. but will RnD these you mentioned. thanks for the guide bro

 

[SK29]

good thread.

 

[KandyMalli]

සරලව කිව්වොත් අපි ඔය වගේ ලොකු ඩේටා එක්ක වැඩ කරනකොට පාවිච්චි කරන ටෙක්නික් ගොඩක් තියනවා.
එකෙන් වඩා වැදගත් වෙන දෙකක් තමා normalization and denormalization කියන දෙක. මේක පැහැදිලි කරන්න වෙලාවක් නැ ලොකු සබ්ජෙක්ට් එකක් නිසා. ඔය දෙක පාදක කරගත්ත දෙටබෙස් තියරි දෙකක් තියනවා.ලොකු ඩේටා සෙට් එකක් එක්ක වැඩ කරනකොට අපි OLTP සහ OLAP කියන දෙක ඕනේ වෙනවා. මේ දෙක ගැන වැඩිපුර හොයන්න.

OLTP කියන්නේ normalization පාට් එක වැඩිපුර දෙන එකක්. මේකෙන් කරන්නේ ඩේටා සේව් කරන එක ඔප්ටිමයිස් කරන එක. එකෙන් ඔයාගේ ඩේටා සේව් කරන ට්‍රාන්සක්ෂන් Query ස්පීඩ් වෙනවා.

OLAP කියන්නේ ඔයාගේ ඩේටා Query කරන ස්පීඩ් එක වැඩි කරන ටෙක්නික් එකක්. මේක denormalization කියන තියරි එක පාවිච්චි වෙන තැනක්.

උදාහරණ : හිතන්න order ටේබල් එකේ තියනවා customer ගේ ඩේටා. දැන් ඔයා කස්ටමර් ID එක තමා රෙඵරන්ස් එකට තියාගෙන ඉන්නේ 1 to * වෙන්න customer ටේබල් එක එක්ක. මෙන්න මේ වගේ එකක Query කරන කොට join එකක් වදිනවා නේ. ඒ කියන්නේ කෝස්ට් එකක් යනවා. මේක නැති කරන්න අපි වෙනම ඩේටා බේස් එකක හෝ ටේබල් එකක මේ ඩේටා දිගැරලා ගහගන්නවා. එකෙන් ඔයා ඒ ටේබල් එකේ index එකෙන් බලල එක රෙකෝඩ් එකක් ගත්තම එකේ ඔක්කොම ඩේටා ටික තියනවා. ඔන්න ඕක තමා OLAP කියන්නේ. මේකෙදි data update වෙනකොට OLAP පැත්ත එකම තැනකින් අප්ඩේට් වෙන්න ඕනේ

වැඩිපුර විස්තර ඕනේ නම් අහපන්

++
Searching walata in-memory db ekak use karannath puluwan neh? Like h2 or derby.

Loku system waladi nam cassendra/ hadoop wage ewa use kranna puluwan

 

[kinkon]

බම්ප්

 

[HAneo]

++
Searching walata in-memory db ekak use karannath puluwan neh? Like h2 or derby.

Uba kiyanne Json file eka In memory ekak widihata load karala ganna ekada? Transaction yanawa nam practice na neda ban? 2M withara Memory ekata load karanna eka.

Loku system waladi nam cassendra/ hadoop wage ewa use kranna puluwan

Yes. echchara yanne nathuwa oka MySQL/MsSql level eken beraganna haduwe

 

[KandyMalli]

Uba kiyanne Json file eka In memory ekak widihata load karala ganna ekada? Transaction yanawa nam practice na neda ban? 2M withara Memory ekata load karanna eka.

Yes. echchara yanne nathuwa oka MySQL/MsSql level eken beraganna haduwe

JSON ma neme mcn. MySQL eke snapshot ekak thama ganna oni. H2 , derby kiyanneth mysql wagema RDBMS ekak neh.. index ehema dannath puluwan.

Transaction wage thibboth nam case.. anika shared hosting wala run krana eka gena sure na.



MySQL level ekenma beraganna thibba nm hondai

 

[HAneo]

JSON ma neme mcn. MySQL eke snapshot ekak thama ganna oni. H2 , derby kiyanneth mysql wagema RDBMS ekak neh.. index ehema dannath puluwan.

Transaction wage thibboth nam case.. anika shared hosting wala run krana eka gena sure na.

Yes cons godak thiyanawa e wade. mokada data redundancy eka wadi

MySQL level ekenma beraganna thibba nm hondai

yes

 

[baba-chuti]

Query ek optimized d, api azure eken postgre ekak arn thibba, eke usage eka 100% giya ita passe 2x wadi kara eth record poddak aye add unot ekat 100% yanawa gahala thiyana query stored procedure optimized nati hinda,

meka thmai query eka. localhost eke baba vage wada. server ekata dammama thmai case. kohemath server eke low budjet hinda wenna athi case eka. meke data tibbe 12000 vage.

$get_pro = "select * from post where (Title LIKE '%".$urlX."%' OR Title LIKE '%".$reverse_txt."%' OR Description LIKE '%".$reverse_txt."%' OR Description LIKE '%".$urlX."%'
OR Title LIKE '%".$last_word."%' OR Description LIKE '%".$last_word."%' OR Keywords Like '%".$urlX."%' OR
Keywords Like '%".$reverse_txt."%' OR Keywords Like '%".$last_word."%') && Status = 'Enable'
ORDER BY Views * 1 ASC limit $start_from, $per_page
";

-------------------------------------------------------------------------------------------------------------------------------------

man dan hadanna yanne wena project ekak. eke mata oni mecharai. kawuruhari search kalama ara json file eken similar record tika choose karla pennana vitrai search quety adlawa. man dan 1lak json file data aran shared hosting dala fetch karla baluwa. lag wenne na.

ex: song name eka gahuwama eke search query title ekai download link ekai pennana eka.

man issrahaa update ekak dennum.