programming වැඩ්ඩෝ පොඩ්ඩක් එන්ටකෝ .....

malan_de

Junior member
  • Nov 1, 2021
    59
    62
    18
    මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

    නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

    db2 පැත්තට odbc read access විතරයි තියන්නේ .....
     
    • Like
    Reactions: siri_ayya

    siri_ayya

    Well-known member
  • Feb 1, 2022
    6,340
    12,199
    113
    මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

    නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

    db2 පැත්තට odbc read access විතරයි තියන්නේ .....
    මන් නම් frontend නිසා මේවට pro level එකෙන් involve වෙලා නෑ..
    හැබැයි ඕක parellel run වෙන script එකකින් නම් 2,3 min වලින් කරගන්න පුලුවන් වෙයි..

    . net threads කීපයක් open කරලා එක thread එකකින් records 10000 වගේ ගන්නවා.. ඊටපස්සේ ඒ ටික assemble කරගෙන අනිත්පැත්තට sql එකට write කරනවා.. Write කරන එක නම් parellely කරන්න බැරිවෙයි පුතී :(

    මන් මේ වගේ මීට low scale වැඩක් python threads use කරලා කරලා තියේ...net වලින් බැරිවෙන එකක් නෑ.. බලමු තව අය comment කරයි..
     

    Solo Rider

    Well-known member
  • Sep 4, 2020
    17,622
    1
    86,916
    113
    94
    හෝමාගම
    MSSQL වල නැද්ද Batch wise insert
    එහෙම එකක් තිබ්බ නන් තව අඩු වෙයි


    We have batch insert -> Swift CoreData, 10K into DB via Batch Insert takes less than 30 seconds
     
    Last edited:
    • Like
    Reactions: Kalegana and kinkon

    hasithayad

    Well-known member
  • Sep 28, 2011
    16,057
    1
    22,929
    113
    මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

    නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

    db2 පැත්තට odbc read access විතරයි තියන්නේ .....
    odbc අමතක කරන්ට. විශේෂයෙන් කියන්ට ඕනෑ data ටික මේ පැත්තට ගන්ට විතරක් නං ado.net datareader තමා හොඳම. දෙපැත්තට නං Data Adapter එකක් ගන්ට.

    https://learn.microsoft.com/en-us/dotnet/framework/data/adonet/retrieving-data-using-a-datareader
     

    mr.h0ydr0

    Junior member
  • Apr 6, 2021
    88
    81
    18
    මට ඕනි ලක්ෂ 2ක් වාගේ recode තියන db2 table 1lk sql පැත්තට .net ප්රෝගම් එකකින් ලියන්ට ...

    නොර්මල් විදියට ලිවාම 20min වාගෙ යනවා .මට ඕනි 2-3 min වලින් වාගේ data ටික මේ පැත්තට ගන්ට

    db2 පැත්තට odbc read access විතරයි තියන්නේ .....
    It's a foolish idea to Get 200K records to the front end
    Try to implement pagination and Filtering to reduce the data load
     
    • Like
    Reactions: Solo Rider

    mr.h0ydr0

    Junior member
  • Apr 6, 2021
    88
    81
    18
    මන් නම් frontend නිසා මේවට pro level එකෙන් involve වෙලා නෑ..
    හැබැයි ඕක parellel run වෙන script එකකින් නම් 2,3 min වලින් කරගන්න පුලුවන් වෙයි..

    . net threads කීපයක් open කරලා එක thread එකකින් records 10000 වගේ ගන්නවා.. ඊටපස්සේ ඒ ටික assemble කරගෙන අනිත්පැත්තට sql එකට write කරනවා.. Write කරන එක නම් parellely කරන්න බැරිවෙයි පුතී :(

    මන් මේ වගේ මීට low scale වැඩක් python threads use කරලා කරලා තියේ...net වලින් බැරිවෙන එකක් නෑ.. බලමු තව අය comment කරයි..
    I think this won't work bro
    That is not either concurrency or parallelism.
    It would take time to Query 200K records, sort them out and bring them into the front end.
    If you use Threading you have to implement your own logic to handle parallelism. is so you have to scale the system vertically.
    The best way is concurrency (use Async/await). That is also not much help here.

    The only solution is to implement a virtual mode in the front end. any user interface initially load some 10 -20 records. as user imputs(like scroll or drag) then we need to display other data. so by enabling virtual mode you will initially get some 10 -20 records which is very fast. as the user scrolls down you will get the next set of data. this is the UI/UX proof method to handle this scenario
     
    • Like
    Reactions: Solo Rider