programming වැඩ්ඩෝ පොඩ්ඩක් එන්ටකෝ .....

[malan_de]

මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

db2 පැත්තට odbc read access විතරයි තියන්නේ .....

 

[siri_ayya]

මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

db2 පැත්තට odbc read access විතරයි තියන්නේ .....

මන් නම් frontend නිසා මේවට pro level එකෙන් involve වෙලා නෑ..
හැබැයි ඕක parellel run වෙන script එකකින් නම් 2,3 min වලින් කරගන්න පුලුවන් වෙයි..

. net threads කීපයක් open කරලා එක thread එකකින් records 10000 වගේ ගන්නවා.. ඊටපස්සේ ඒ ටික assemble කරගෙන අනිත්පැත්තට sql එකට write කරනවා.. Write කරන එක නම් parellely කරන්න බැරිවෙයි පුතී

මන් මේ වගේ මීට low scale වැඩක් python threads use කරලා කරලා තියේ...net වලින් බැරිවෙන එකක් නෑ.. බලමු තව අය comment කරයි..

 

[helplesser]

ODBC slow ban. SSIS wage balapan.

 

[Solo Rider]

MSSQL වල නැද්ද Batch wise insert
එහෙම එකක් තිබ්බ නන් තව අඩු වෙයි


We have batch insert -> Swift CoreData, 10K into DB via Batch Insert takes less than 30 seconds

 

[hasithayad]

මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

db2 පැත්තට odbc read access විතරයි තියන්නේ .....

odbc අමතක කරන්ට. විශේෂයෙන් කියන්ට ඕනෑ data ටික මේ පැත්තට ගන්ට විතරක් නං ado.net datareader තමා හොඳම. දෙපැත්තට නං Data Adapter එකක් ගන්ට.

https://learn.microsoft.com/en-us/dotnet/framework/data/adonet/retrieving-data-using-a-datareader

 

[kinkon]

බම්ප්

 

[Kalegana]

පිස්සු වගේ මට නම් ත්ර්වෙන්නේ නැ මොකුත්..

 

[madbuddy]

Ei .NET ooone meekata... SQL script walin karanna balanna. Code ekata DATA geenna epaa.. efficient nee

 

[mr.h0ydr0]

මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

db2 පැත්තට odbc read access විතරයි තියන්නේ .....

It's a foolish idea to Get 200K records to the front end
Try to implement pagination and Filtering to reduce the data load

 

[mr.h0ydr0]

මන් නම් frontend නිසා මේවට pro level එකෙන් involve වෙලා නෑ..
හැබැයි ඕක parellel run වෙන script එකකින් නම් 2,3 min වලින් කරගන්න පුලුවන් වෙයි..

. net threads කීපයක් open කරලා එක thread එකකින් records 10000 වගේ ගන්නවා.. ඊටපස්සේ ඒ ටික assemble කරගෙන අනිත්පැත්තට sql එකට write කරනවා.. Write කරන එක නම් parellely කරන්න බැරිවෙයි පුතී

මන් මේ වගේ මීට low scale වැඩක් python threads use කරලා කරලා තියේ...net වලින් බැරිවෙන එකක් නෑ.. බලමු තව අය comment කරයි..

I think this won't work bro
That is not either concurrency or parallelism.
It would take time to Query 200K records, sort them out and bring them into the front end.
If you use Threading you have to implement your own logic to handle parallelism. is so you have to scale the system vertically.
The best way is concurrency (use Async/await). That is also not much help here.

The only solution is to implement a virtual mode in the front end. any user interface initially load some 10 -20 records. as user imputs(like scroll or drag) then we need to display other data. so by enabling virtual mode you will initially get some 10 -20 records which is very fast. as the user scrolls down you will get the next set of data. this is the UI/UX proof method to handle this scenario