FB එකේ බ්ලූ ටික් අයියාලා මේ ටිකේ සෑහෙන්න ටෝක් කරනව උන් AI හැදුවා අරකයි මේකයි ගගා. අපේ සින්හලුත් වැලලෙනව "නියමයි අයියාහ්" කියල. උන් ඉතින් එතන ඉදන් උපරිම ආස්වාදෙන් පට්ට කෙබර ලෝකයක් කෙලිනව තව තව ලොකු කතාත් එමට කියනව. සමහරු නම් උන් කියන ඒව උන් දන්නෙත් නෑ. සමහරු නම් chatgpt එකටත් ඌ හදපු එකෙන් කෙලවලා දාන්න ටෝක් ඉශූ කරන්නෙ. උන්ටම වන්දනාමාන කරන ගෝත්රිකයො එක්ක කතා කරල වැඩකුත් නෑ. අපි හෙන ලොකු සුපිරි AI එකක් හැදුවා කියන ගන්කබරයො ඔක්කොම කරන්නෙ chatgpt, claude, gemini වගේ මොඩල් එකක API keys අරන් integrate කරන එක. ඊට පස්සෙ උගේ platform එකක back end එකෙන් api access කරන එක. රෑ එලිවෙනකම් දිවා රෑ නොබලා මාස ගානක ප්රතිපල කියල හෑල්ලක් එක්ක තමා ඕක දාන්නෙ. ඕකත් AI එකටම කියල හදාගත්ත නම් ඉවරයි.
ඔතනින් සුලු පිරිසක් ඉන්නව agents build කරගෙන තව ටිකක් fine tune කරපු output එකක් දෙන. හැබැයි මම නම් මේ වෙනකම් හරියට perform කරන finetune කරපු model එකක් දැකල නෑ. තියෙනව නම් model card එකක් දාන්න බලන්න. ඒ වගේම බ්ලූ ටික් හෑලි අයියලා කිසිම එකෙක් අඩුම ගාන instance එකක් rent කරල මොඩල් එකක් රන් කරලවත් උන්ගෙ platform එකක් හදන් නෑ ටෝක් ඉශූ කරාට.
මේකෙ තියෙන ලොකුම ප්රශ්නෙ මෙහෙම බොරුමවාපෑම් කරල කෝස් කරන්න මිනිස්සු රවට්ටන එක. prompt engineering කියලත් කෝස් කරනව. මාත් free session එකකට join වෙලා බැලුව. හාල්පාරුව නිකන් මේ වචන ගගහ output ගන්න කියනව මිසක් ඌ මොඩල් කාඩ් එකේ technical paper එකවත් කියවල නෑ. ඉතින් මේ AI මැජික් කරන් සින්හලු අනාත කරන නිසා මේක ලිව්වෙ.
දැනට released වෙලා තියෙන models වලින් censored / uncensored කියල කොටස් දෙකක් තියෙනව. censored කියන්නෙ chatgpt, gemini, claude, sonnet වගේ අපිට ඕනෙ හැමදෙයක්ම කරගන්න බෑ limitation තියෙනව. uncensored model වල එහෙම දෙයක් නෑ. explicit content වල ඉදන් ඕනෙම දෙයක් අහන්න පුලුවන් කිසිම limitation එකක් නෑ. safety guardrails, content filters, or refusal mechanisms මුකූත් නෑ.
1.1 මුලින්ම python install කරගන්න.
https://www.python.org/downloads/release/python-31011/
https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
1.2 Install git
https://git-scm.com/downloads
https://github.com/git-for-windows/git/releases/download/v2.50.1.windows.1/Git-2.50.1-64-bit.exe
1.3 CMD open කරගන්න
2. Update Your System:
sudo gives you administrative privileges, and -y automatically confirms prompts.
3. Verify NVIDIA Driver Installation:
table එකක් එන්න ඕනෙ එකේ gpu nvidia version එකයි cuda වර්ශන් එකයි. drivers නැත්නම් drivers ටික install කරගන්න
මේකෙන් තමයි models run කරගන්නෙ.
https://ollama.com/download/windows
4.2 Check Ollama version. ex ollama version is 0.9.6
4.2 Check Ollama version. ex ollama version is 0.9.6
5. Download model
ඕන model එකක් මෙතනින් search කරගන්න.
https://ollama.com/search
small model එකකින් පටන් ගමු.
5.1 gemma3:1b
https://ollama.com/library/gemma3:1b
මේක lightweight censored model එකක්. single gpu එකක run කරගන්න පුලුවන්. 1B parameters තියෙනව. text input කරන්න පුලුවන්. 32k context window. 140 languages
5.2 gemma3:4b (recommended model)
https://ollama.com/library/gemma3:4b
මේක lightweight censored multimodal එකක්. single gpu එකක run කරගන්න පුලුවන්. 4B parameters තියෙනව. image/text දෙකම input කරන්න පුලුවන්. 128k context window. 140 languages
6. List Downloaded Models
7. Run Your First Model
8. To exit the interactive session, type /bye or press Ctrl + D
9. Install openweb ui
9.1 Create directory and navigate
9.2 Create a Python Virtual Environment
9.3 Activate the Virtual Environment
You'll notice your terminal prompt changes (e.g., (venv) username@hostname:~/open-webui-venv$) to indicate that the virtual environment is active.
9.4 Install Open WebUI
10.1 Start the Open WebUI Server
This will usually start the server on http://localhost:8080. You can then access it from your Windows browser
http://localhost:8080
10.2 Deactivate the Virtual Environment (when you're done)
This model has reduced safety filtering and may generate sensitive or controversial outputs. Use responsibly and at your own risk.
(Replace /home/yourusername/Pictures/my_image.jpg with the actual path to your image.)
මේ විදියට රන් කරගන්න පුලුවන් gpt, gemini වගේම models තියෙනව
qwen3 කියන්නෙ එහෙම හොද කොලිටි මොඩල්ස්. 142GB 40K context, grok, deepseek r1, gemini 2.5, openai-o1 වලට වඩා benchmark score එක හොදයි.
https://ollama.com/library/qwen3:235b
code කරන්න qwen coder එහෙම සුපිරි. OpenAI’s GPT-4oට වඩා හොදයි.
https://ollama.com/library/qwen2.5-coder
ප්රශ්න මොනාහරි තියෙනව නම් දාපල්ල. gpu එකක් නැත්නම් gpu instance එකක රන් කරගන්න help එකක් ඕනෙ නම් කියපල්ල.
ඔතනින් සුලු පිරිසක් ඉන්නව agents build කරගෙන තව ටිකක් fine tune කරපු output එකක් දෙන. හැබැයි මම නම් මේ වෙනකම් හරියට perform කරන finetune කරපු model එකක් දැකල නෑ. තියෙනව නම් model card එකක් දාන්න බලන්න. ඒ වගේම බ්ලූ ටික් හෑලි අයියලා කිසිම එකෙක් අඩුම ගාන instance එකක් rent කරල මොඩල් එකක් රන් කරලවත් උන්ගෙ platform එකක් හදන් නෑ ටෝක් ඉශූ කරාට.
මේකෙ තියෙන ලොකුම ප්රශ්නෙ මෙහෙම බොරුමවාපෑම් කරල කෝස් කරන්න මිනිස්සු රවට්ටන එක. prompt engineering කියලත් කෝස් කරනව. මාත් free session එකකට join වෙලා බැලුව. හාල්පාරුව නිකන් මේ වචන ගගහ output ගන්න කියනව මිසක් ඌ මොඩල් කාඩ් එකේ technical paper එකවත් කියවල නෑ. ඉතින් මේ AI මැජික් කරන් සින්හලු අනාත කරන නිසා මේක ලිව්වෙ.
RUN LLAMA Model Locally
ඔන්න කැමති ඕනෙ එකෙක් ඉන්නව තමන්ගෙම PC එකක locally run කරගනිල්ල.දැනට released වෙලා තියෙන models වලින් censored / uncensored කියල කොටස් දෙකක් තියෙනව. censored කියන්නෙ chatgpt, gemini, claude, sonnet වගේ අපිට ඕනෙ හැමදෙයක්ම කරගන්න බෑ limitation තියෙනව. uncensored model වල එහෙම දෙයක් නෑ. explicit content වල ඉදන් ඕනෙම දෙයක් අහන්න පුලුවන් කිසිම limitation එකක් නෑ. safety guardrails, content filters, or refusal mechanisms මුකූත් නෑ.
1.1 මුලින්ම python install කරගන්න.
https://www.python.org/downloads/release/python-31011/
https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
1.2 Install git
https://git-scm.com/downloads
https://github.com/git-for-windows/git/releases/download/v2.50.1.windows.1/Git-2.50.1-64-bit.exe
1.3 CMD open කරගන්න
2. Update Your System:
sudo gives you administrative privileges, and -y automatically confirms prompts.
Bash:
sudo apt update
sudo apt upgrade -y3. Verify NVIDIA Driver Installation:
table එකක් එන්න ඕනෙ එකේ gpu nvidia version එකයි cuda වර්ශන් එකයි. drivers නැත්නම් drivers ටික install කරගන්න
Bash:
nvidia-smiWindows
4.1 Download & Install Ollamaමේකෙන් තමයි models run කරගන්නෙ.
https://ollama.com/download/windows
4.2 Check Ollama version. ex ollama version is 0.9.6
Bash:
ollama --versionLinux
4.1 Download & Install Ollama
Bash:
curl -fsSL https://ollama.com/install.sh | sh4.2 Check Ollama version. ex ollama version is 0.9.6
Bash:
ollama --version5. Download model
ඕන model එකක් මෙතනින් search කරගන්න.
https://ollama.com/search
small model එකකින් පටන් ගමු.
5.1 gemma3:1b
https://ollama.com/library/gemma3:1b
මේක lightweight censored model එකක්. single gpu එකක run කරගන්න පුලුවන්. 1B parameters තියෙනව. text input කරන්න පුලුවන්. 32k context window. 140 languages
Bash:
ollama pull gemma3:1b5.2 gemma3:4b (recommended model)
https://ollama.com/library/gemma3:4b
මේක lightweight censored multimodal එකක්. single gpu එකක run කරගන්න පුලුවන්. 4B parameters තියෙනව. image/text දෙකම input කරන්න පුලුවන්. 128k context window. 140 languages
Bash:
ollama pull gemma3:4b6. List Downloaded Models
Bash:
ollama list7. Run Your First Model
Bash:
ollama run gemma3:1b8. To exit the interactive session, type /bye or press Ctrl + D
9. Install openweb ui
9.1 Create directory and navigate
Bash:
mkdir ~/open-webui-venv
cd ~/open-webui-venv9.2 Create a Python Virtual Environment
Bash:
python3 -m venv venv9.3 Activate the Virtual Environment
Bash:
source venv/bin/activate9.4 Install Open WebUI
Bash:
pip install open-webui10.1 Start the Open WebUI Server
Bash:
open-webui servehttp://localhost:8080
10.2 Deactivate the Virtual Environment (when you're done)
Code:
deactivateUncensored Qwen3 - JOSIEFIED 8B
https://ollama.com/goekdenizguelmez/JOSIEFIED-Qwen3
Bash:
ollama run goekdenizguelmez/JOSIEFIED-Qwen3:8bUsing Multimodal Models (LLaVA with Images)
Bash:
ollama run llava "What do you see in this image? /home/yourusername/Pictures/my_image.jpg"මේ විදියට රන් කරගන්න පුලුවන් gpt, gemini වගේම models තියෙනව
qwen3 කියන්නෙ එහෙම හොද කොලිටි මොඩල්ස්. 142GB 40K context, grok, deepseek r1, gemini 2.5, openai-o1 වලට වඩා benchmark score එක හොදයි.
https://ollama.com/library/qwen3:235b
code කරන්න qwen coder එහෙම සුපිරි. OpenAI’s GPT-4oට වඩා හොදයි.
https://ollama.com/library/qwen2.5-coder
ප්රශ්න මොනාහරි තියෙනව නම් දාපල්ල. gpu එකක් නැත්නම් gpu instance එකක රන් කරගන්න help එකක් ඕනෙ නම් කියපල්ල.
