web scraping

[thomian]

මචං Python web scraping කරන අය ඉන්නවද ? මේකෙන් ගන්න data අපිට sell කරන්න පුළුවන් ද ? ගන්න data sell කරන එක කොහොමද කරන්න ඕන ? එක කරන්න පුළුවන් ද ? මේක ගැන ඉගෙන ගන්න හොඳ resources මොනවද තියෙන්නේ ?

 

[Geshi95]

බම්ප්

 

[sachith19920726]

beautifulsoup/selenium/scrapy

 

[san2d3]

Ikman eke numbers scrape karanna puluwanda ban oken? Click ekakin passe habai number penne.

 

[Lakshan-Seram]

Ikman eke numbers scrape karanna puluwanda ban oken? Click ekakin passe habai number penne.

echchara one na. ita wada lesiyen json parse karaganna puluwan

 

[elajani]

මචං Python web scraping කරන අය ඉන්නවද ? මේකෙන් ගන්න data අපිට sell කරන්න පුළුවන් ද ? ගන්න data sell කරන එක කොහොමද කරන්න ඕන ? එක කරන්න පුළුවන් ද ? මේක ගැන ඉගෙන ගන්න හොඳ resources මොනවද තියෙන්නේ ?

C# valin html scrape
itapasse json
ita passe tag valin ganna

 

[thomian]

Ikman eke numbers scrape karanna puluwanda ban oken? Click ekakin passe habai number penne.

beautifulsoup/selenium....me deken karanna nam puluwan machan

---

echchara one na. ita wada lesiyen json parse karaganna puluwan

machan pages 1000+ unath mehema karanna pluwan da ?
------ Post added on Dec 24, 2021 at 8:58 PM

---

C# valin html scrape
itapasse json
ita passe tag valin ganna

Mama Python walin nam try karala tiyawna machan... beautifulsoup/selenium.. C# walin karala na
------ Post added on Dec 24, 2021 at 8:59 PM

 

[elajani]

beautifulsoup/selenium....me deken karanna nam puluwan machan

---

machan pages 1000+ unath mehema karanna pluwan da ?
------ Post added on Dec 24, 2021 at 8:58 PM

---

Mama Python walin nam try karala tiyawna machan... beautifulsoup/selenium.. C# walin karala na
------ Post added on Dec 24, 2021 at 8:59 PM

C# valin fully auto mate karanna puluwan web page scraping
e HTML scrape eka DISk ekata save karala
JSON karala tag valin select karanna puluwan data mokada lankaave web page avurudu ganakata change venne nathi nisa
eth FB vage data collect karanna puluwan but amaruyi mokada fb page eka maru venava eth bari na

 

[Lakshan-Seram]

machan pages 1000+ unath mehema karanna pluwan da ?
------ Post added on Dec 24, 2021 at 8:58 PM

kisima awlak na.

server eken ubawa block kare nettam.

api one tharam karanawa.

random IP walin request karanne. (proxy)

 

[thomian]

C# valin fully auto mate karanna puluwan web page scraping
e HTML scrape eka DISk ekata save karala
JSON karala tag valin select karanna puluwan data mokada lankaave web page avurudu ganakata change venne nathi nisa
eth FB vage data collect karanna puluwan but amaruyi mokada fb page eka maru venava eth bari na

ela machan.. thanks

---

kisima awlak na.

server eken ubawa block kare nettam.

api one tharam karanawa.

random IP walin request karanne. (proxy)

ela machan thanks
------ Post added on Dec 24, 2021 at 9:08 PM

---

beautifulsoup/selenium/scrapy

machan me set eken scraping karanawada uba ?
------ Post added on Dec 24, 2021 at 9:09 PM

 

[sachith19920726]

machan me set eken scraping karanawada uba ?
------ Post added on Dec 24, 2021 at 9:09 PM

Selenium තමයි බන් වැඩිපුර use කරන්නෙ.
multithreading + proxies use කරන්න වෙනව ගොඩක් වෙලාවට.
මේ ලගදිත් හැදුව bot එකක් client කෙනෙක් ට ඕන කියල.
instagram accounts unlimited create කරල. ඒවට msg යවන්න ඕන.
ඒකට ඉතින් account එක create කරන කොට proxy and browser agent වෙන වෙන ඒව use කරන්න ඕන.
msg යවන්න වෙනම db එකක් ගහගන්න ඕන insa page followers ල scrap කරල.
msg යවනකොටත් browser user agent, username, pw වෙනම db එකට දාල ගන්න ඕන msg කරන වෙලාවට.
මොකද ip එක වෙනස් උනොත් detect වෙනව. එතකොට block වෙනව.

 

[baba-chuti]

C# valin fully auto mate karanna puluwan web page scraping
e HTML scrape eka DISk ekata save karala
JSON karala tag valin select karanna puluwan data mokada lankaave web page avurudu ganakata change venne nathi nisa
eth FB vage data collect karanna puluwan but amaruyi mokada fb page eka maru venava eth bari na

fb page, instagram man karla tiyei. habai fb eke 70% vage thami rip karnna puluwan.

---

Ikman eke numbers scrape karanna puluwanda ban oken? Click ekakin passe habai number penne.

---

machan pages 1000+ unath mehema karanna pluwan da ?
------ Post added on Dec 24, 2021 at 8:58 PM

puluwan. man issrahata free open source online ikman.lk numbers rip karana ekak hadanna hitan inne. hadala iwara wunama elakiri ekata dannum.

1000+ gannawanum lesi na. server timeout yanawa, ape server ip block wenawa. proxy try karnna puluwan. smaharha welawa ekenuth timeout yana chances tiyei.
------ Post added on Dec 24, 2021 at 9:22 PM

 

[thomian]

Selenium තමයි බන් වැඩිපුර use කරන්නෙ.
multithreading + proxies use කරන්න වෙනව ගොඩක් වෙලාවට.
මේ ලගදිත් හැදුව bot එකක් client කෙනෙක් ට ඕන කියල.
instagram accounts unlimited create කරල. ඒවට massage යවන්න ඕන.
ඒකට ඉතින් account එක create කරන කොට proxy and browser agent වෙන වෙන ඒව use කරන්න ඕන.
massage යවන්න වෙනම db එකක් ගහගන්න ඕන insa page followers ල scrap කරල.
massage යවනකොටත් browser agent, browser user agent, username, pw වෙනම db එකට දාල ගන්න ඕන massage කරන වෙලාවට.
මොකද ip එක වෙනස් උනොත් detect වෙනව. එතකොට block වෙනව.

View attachment 155146

අඩේ මාරු නේ බන්... මම selenium වලින් web Automation කරලා තියනවා.. ලඟදි තමයි Python + scraping බලන්න පටන් ගත්තේ..මේ විදියට web / API scrape කරලා data sell කරන්න පුලුවන නේද ? AI projects වලට එහම ?

---

fb page, instagram man karla tiyei. habai fb eke 70% vage thami rip karnna puluwan.

---

puluwan. man issrahata free open source online ikman.lk numbers rip karana ekak hadanna hitan inne. hadala iwara wunama elakiri ekata dannum.

1000+ gannawanum lesi na. server timeout yanawa, ape server ip block wenawa. proxy try karnna puluwan. smaharha welawa ekenuth timeout yana chances tiyei.
------ Post added on Dec 24, 2021 at 9:22 PM

Kohomada machan FB /Insta wala kale ?
------ Post added on Dec 24, 2021 at 9:42 PM

 

[baba-chuti]

අඩේ මාරු නේ බන්... මම selenium වලින් web Automation කරලා තියනවා.. ලඟදි තමයි Python + scraping බලන්න පටන් ගත්තේ..මේ විදියට web / API scrape කරලා data sell කරන්න පුලුවන නේද ? AI projects වලට එහම ?

---

Kohomada machan FB /Insta wala kale ?
------ Post added on Dec 24, 2021 at 9:42 PM

API

 

[sachith19920726]

අඩේ මාරු නේ බන්... මම selenium වලින් web Automation කරලා තියනවා.. ලඟදි තමයි Python + scraping බලන්න පටන් ගත්තේ..මේ විදියට web / API scrape කරලා data sell කරන්න පුලුවන නේද ? AI projects වලට එහම ?

අවශ්‍ය කරන එකෙක් හොයා ගත්තොත් sell කරත හැකි. මම නම් එහෙම sell කරල නැහැ.

 

[elajani]

ඔය කරන විදියට බොට් කෙනෙක් කියල අල්ලගන්නෙ නැද්ද... අල්ලනව නේද....

 

[sachith19920726]

ඔය කරන විදියට බොට් කෙනෙක් කියල අල්ලගන්නෙ නැද්ද... අල්ලනව නේද....

මගෙන් ද ඇහුවෙ.

account create කරන්න uk numbers use කරනකොට uk proxies use කරන්න ඕන.
නැත්තම් අල්ලනව. use කරන රටේ proxies දැම්මම තාම නම් කේස් එකක් නෑ user agent එක්ක.

 

[elajani]

මගෙන් ද ඇහුවෙ.

account create කරන්න uk numbers use කරනකොට uk proxies use කරන්න ඕන.
නැත්තම් අල්ලනව. use කරන රටේ proxies දැම්මම තාම නම් කේස් එකක් නෑ user agent එක්ක.

මට කියපන් උබ වැඩ කරන්නේ කොහෙද කියල ඔය agent ලා නැතුව කරන්න පුළුවන්

 

[sachith19920726]

මට කියපන් උබ වැඩ කරන්නේ කොහෙද කියල ඔය agent ලා නැතුව කරන්න පුළුවන්

my own company.
https://elakiri.com/threads/games-boost-කරමු--crynet-game-booster.1982133/

මේව නම් freelance කරන වැඩ.

මොන agent ද බන් ? browser එකේ user agent ගැන කිව්වෙ
https://www.whatismybrowser.com/detect/what-is-my-user-agent

 

[elajani]

my own company.
මේව නම් freelance කරන වැඩ.

Ok
C# වලින් පුලුවන් auto mate කරන්න mouse point eka... F11 key eka.. Web source code eka copy paste or clipboard ගන්න පුළුවන්
Save කරන්න disk ekata... ඊට පස්සෙ json