Local LLM එකක් run කරන්න.

[ChamodhK]

මගෙ lap එකේ dedicated gpu එකක් නැහැ. මම Ollama එකේ mistral:instruct මොඩල් එක run කරා. එක ප්‍රොම්ප්ට් එකකට විනාඩි 4 ක් වගේ යනව. ප්‍රොම්ප්ට් ගොඩක් දෙන්න තියෙන වැඩක් නිසා ඒක හරියන්නෙ නැහැ.

මේක google colab එකෙන් ගොඩ දාගන්න පුලුවන් වෙයිද

 

[sajith.xp.pk]

Nvidea 4080 එක්ක Dual Gold CPU (44 core 88 thread) එක්ක Server එකක් දෙන්නද $570 USD /mo ?

 

[olu bakka]

Runpod වගේ ඒවා බැලුවද? කීයක් හරි වියදම් වෙනව.
Colab එකේ LLM එකක් නන් run කරන්න බැරිවෙයි.

 

[ChamodhK]

Nvidea 4080 එක්ක Dual Gold CPU (44 core 88 thread) එක්ක Server එකක් දෙන්නද $570 USD /mo ?

Echchara naaane

---

Runpod වගේ ඒවා බැලුවද? කීයක් හරි වියදම් වෙනව.
Colab එකේ LLM එකක් නන් run කරන්න බැරිවෙයි.

Baluwe naa balannm
------ Post added on Nov 9, 2025 at 8:03 AM

 

[MihiCherub]

Nvidea 4080 එක්ක Dual Gold CPU (44 core 88 thread) එක්ක Server එකක් දෙන්නද $570 USD /mo ?

wedak na. oketh run karanna ba.


--------------------------------------------

RUN LLAMA Model Locally​

https://elakiri.com/threads/run-llama-model-locally.2219262/

 

[sajith.xp.pk]

wedak na. oketh run karanna ba.

ollma එකේ ලොකු එකක් රන් කරා මම දවසක්.. තප්පර 2-4 වලින් එනව ගොඩක් වෙලාවට. උපරිම යනව සමහර වෙලාවට 10 වගේ Process එක ලොකුයි නම්.

 

[MihiCherub]

ollma එකේ ලොකු එකක් රන් කරා මම දවසක්.. තප්පර 2-4 වලින් එනව ගොඩක් වෙලාවට. උපරිම යනව සමහර වෙලාවට 10 වගේ Process එක ලොකුයි නම්.

simple math walin 16GB gpu ekaka run karanna puluwan 16GB model ekak. quantized karapu models run karanna puluwan quality madi. normally decent output ekak ganna nam 24GB range eke model ekak wath run karanna one. hoda output ekakata aduma around 48GB model ekak. oya simply kiwwe params gana.

 

[ChamodhK]

Gliner kiyala NER ekakin wede karagatta. Ekatat godak welaa yanawa mage lap eke
Reply karapu hamotama thank youuu

 

[Thilantdm]

llama 8b ekak run kara mac eke.. 8 mn giya...
ekama windows lap eke run kara 20mn wage giya...

uba run karapu model eka mkakda?

 

[ChamodhK]

llama 8b ekak run kara mac eke.. 8 mn giya...
ekama windows lap eke run kara 20mn wage giya...

uba run karapu model eka mkakda?

Mistral:instruct

Thawa ewa kalaa Mistral ekema oka thamai poddak hari wegen une. i5 processor eken thamai ithin

 

[Thilantdm]

Mistral:instruct

Thawa ewa kalaa Mistral ekema oka thamai poddak hari wegen une. i5 processor eken thamai ithin

mn podi project ekak kara...
project documentation karana app ekak...
llama 8b eken thama sahena accurate details extract kara gnna pluwan une...

i5 madi bn... mage windows lap eka i7 13th gen ekak.. gpu 8gb thibilath 20mn giya..
ekko oo gpu use kale na hariyata

mac eke less than 8 min...

aluthen ena macbook thama owata sahenna compatible widiyata hadala enne...
etc m4,m5

bt mn use kale m2 pro ekak..

 

[Yin And Yang]

Bump

 

[Mister TT]

wedak na. oketh run karanna ba.


--------------------------------------------

RUN LLAMA Model Locally​

https://elakiri.com/threads/run-llama-model-locally.2219262/

මොන වගේ spec එකක් තියෙන මැෂින් එකක්ද බං ඕනේ ටිකක් smooth විදියට run කරන්න නම්.මේ ගැන මට idea එකක් නෑ.දැනගන්න ඇහුවේ.

 

[ChamodhK]

mn podi project ekak kara...
project documentation karana app ekak...
llama 8b eken thama sahena accurate details extract kara gnna pluwan une...

i5 madi bn... mage windows lap eka i7 13th gen ekak.. gpu 8gb thibilath 20mn giya..
ekko oo gpu use kale na hariyata

mac eke less than 8 min...

aluthen ena macbook thama owata sahenna compatible widiyata hadala enne...
etc m4,m5

bt mn use kale m2 pro ekak..t

Text ekakin awashya Tika extract karana scene ekakda kalee. Mn kalee ehema ekak.

Dunna ewayeth godak hallucinations aawa. E kiyanne text eke nathu ewath generate wevi enawa. Scalable naha

 

[Janatha Jhon]

ගේම ඉල්ලපු තව පොන්නයෙක්

 

[Thilantdm]

Text ekakin awashya Tika extract karana scene ekakda kalee. Mn kalee ehema ekak.

Dunna ewayeth godak hallucinations aawa. E kiyanne text eke nathu ewath generate wevi enawa. Scalable naha

oka wenna aththe llama eke podi data set thiyena model use karama... mn 4b ehmath use kara accurate na..