web scraping

NushenD

Well-known member
  • Sep 30, 2021
    3,333
    11,483
    113
    Malabe
    අවශ්‍ය කරන එකෙක් හොයා ගත්තොත් sell කරත හැකි. මම නම් එහෙම sell කරල නැහැ.
    Ado umba sell karapanko ban.
    Umba danne na Vietnam karayo me tools hadala thousands ganan hoyanawa nothing.
    Btw ube tool eken thamai ehenam apitath messages enne hashtag ekak daanna ba botsla message karanawa. :angry:
     

    elajani

    Well-known member
  • Oct 18, 2020
    10,664
    6,401
    113
    • Like
    Reactions: thomian

    sachith19920726

    Well-known member
  • Jan 20, 2011
    35,677
    11,519
    113
    34
    Crynet Solutions
    Ok
    C# වලින් පුලුවන් auto mate කරන්න mouse point eka... F11 key eka.. Web source code eka copy paste or clipboard ගන්න පුළුවන්
    Save කරන්න disk ekata... ඊට පස්සෙ json

    selenium වලින් කෙලින්ම source එක ගත හැකිනෙ බන්.
    block වෙන්නෙ account create කරද්දී. proxies අනිවාර්යයි. user agent අනිවාර්යයි.
    web source code නම් direct web request එකක් දාල ගත හැකි නෙ බන්.

    Ado umba sell karapanko ban.
    Umba danne na Vietnam karayo me tools hadala thousands ganan hoyanawa nothing.
    Btw ube tool eken thamai ehenam apitath messages enne hashtag ekak daanna ba botsla message karanawa. :angry:

    බෑ නෙ බන් client අම්බානක වියදම් කරල නෙ බන් හදවන්නෙ.
    ඒ trust එක තියන්න ඕන log term clients ල.
    මේව මේ පොඩි පොඩි බොට්ටු බන් තව සීන් කරල තියනව ඒවා expose කරන්නත් බෑ.

    Ovu Ovu ඔය user agent thama user accounts hamavelem log vena kota bot කියලා අල්ලන්නේ නැද්ද

    නෑ බන් different user agents ල use කරනව හැම account එකට. ඒ account එකට log වෙන්නෙ. ඒ proxie and ua use කරල විතරයි.
    එතකොට අහු වෙන්නෙ නෑ. තව ඉතින් එක account එකකින් අම්බානක messages එක සැරේ අරින්න ගියොත් අහු වෙනව.
    ගානට කරන්න ඕන.
    ------ Post added on Dec 24, 2021 at 11:19 PM
     
    Last edited:

    elajani

    Well-known member
  • Oct 18, 2020
    10,664
    6,401
    113
    selenium වලින් කෙලින්ම source එක ගත හැකිනෙ බන්.
    block වෙන්නෙ account create කරද්දී. proxies අනිවාර්යයි. user agent අනිවාර්යයි.
    web source code නම් direct web request එකක් දාල ගත හැකි නෙ බන්.



    බෑ නෙ බන් client අම්බානක වියදම් කරල නෙ බන් හදවන්නෙ.
    ඒ trust එක තියන්න ඕන log term clients ල.
    මේව මේ පොඩි පොඩි බොට්ටු බන් තව සීන් කරල තියනව ඒවා expose කරන්නත් බෑ.



    නෑ බන් different user agents ල use කරනව හැම account එකට. ඒ account එකට log වෙන්නෙ. ඒ proxie and ua use කරල විතරයි.
    එතකොට අහු වෙන්නෙ නෑ. තව ඉතින් එක account එකකින් අම්බානක massages එක සැරේ අරින්න ගියොත් අහු වෙනව.
    ගානට කරන්න ඕන.
    ------ Post added on Dec 24, 2021 at 11:19 PM
    User accounts අනිවාර්ය යි නම් ඉතින් ur method is correct
     

    pathumputha

    Well-known member
  • Feb 20, 2018
    3,284
    6,546
    113
    Python වලින් scraping නම් කරනවා බන් විකුනන්න සෙට් වෙලා නෑ
     
    • Like
    Reactions: thomian