Reply to thread

Message: <blockquote data-quote="MihiCherub" data-source="post: 30871139" data-attributes="member: 238676">FB එකේ බ්ලූ ටික් අයියාලා මේ ටිකේ සෑහෙන්න ටෝක් කරනව උන් AI හැදුවා අරකයි මේකයි ගගා. අපේ සින්හලුත් වැලලෙනව "නියමයි අයියාහ්" කියල. උන් ඉතින් එතන ඉදන් උපරිම ආස්වාදෙන් පට්ට කෙබර ලෝකයක් කෙලිනව තව තව ලොකු කතාත් එමට කියනව. සමහරු නම් උන් කියන ඒව උන් දන්නෙත් නෑ. සමහරු නම් chatgpt එකටත් ඌ හදපු එකෙන් කෙලවලා දාන්න ටෝක් ඉශූ කරන්නෙ. උන්ටම වන්දනාමාන කරන ගෝත්‍රිකයො එක්ක කතා කරල වැඩකුත් නෑ. අපි හෙන ලොකු සුපිරි AI එකක් හැදුවා කියන ගන්කබරයො ඔක්කොම කරන්නෙ chatgpt, claude, gemini වගේ මොඩල් එකක API keys අරන් integrate කරන එක. ඊට පස්සෙ උගේ platform එකක back end එකෙන් api access කරන එක. රෑ එලිවෙනකම් දිවා රෑ නොබලා මාස ගානක ප්‍රතිපල කියල හෑල්ලක් එක්ක තමා ඕක දාන්නෙ. ඕකත් AI එකටම කියල හදාගත්ත නම් ඉවරයි.ඔතනින් සුලු පිරිසක් ඉන්නව agents build කරගෙන තව ටිකක් fine tune කරපු output එකක් දෙන. හැබැයි මම නම් මේ වෙනකම් හරියට perform කරන finetune කරපු model එකක් දැකල නෑ. තියෙනව නම් model card එකක් දාන්න බලන්න. ඒ වගේම බ්ලූ ටික් හෑලි අයියලා කිසිම එකෙක් අඩුම ගාන instance එකක් rent කරල මොඩල් එකක් රන් කරලවත් උන්ගෙ platform එකක් හදන් නෑ ටෝක් ඉශූ කරාට.මේකෙ තියෙන ලොකුම ප්‍රශ්නෙ මෙහෙම බොරුමවාපෑම් කරල කෝස් කරන්න මිනිස්සු රවට්ටන එක. prompt engineering කියලත් කෝස් කරනව. මාත් free session එකකට join වෙලා බැලුව. හාල්පාරුව නිකන් මේ වචන ගගහ output ගන්න කියනව මිසක් ඌ මොඩල් කාඩ් එකේ technical paper එකවත් කියවල නෑ. ඉතින් මේ AI මැජික් කරන් සින්හලු අනාත කරන නිසා මේක ලිව්වෙ.<h2>RUN LLAMA Model Locally</h2>ඔන්න කැමති ඕනෙ එකෙක් ඉන්නව තමන්ගෙම PC එකක locally run කරගනිල්ල.දැනට released වෙලා තියෙන models වලින් censored / uncensored කියල කොටස් දෙකක් තියෙනව. censored කියන්නෙ chatgpt, gemini, claude, sonnet වගේ අපිට ඕනෙ හැමදෙයක්ම කරගන්න බෑ limitation තියෙනව. uncensored model වල එහෙම දෙයක් නෑ. explicit content වල ඉදන් ඕනෙම දෙයක් අහන්න පුලුවන් කිසිම limitation එකක් නෑ. safety guardrails, content filters, or refusal mechanisms මුකූත් නෑ.1.1 මුලින්ම python install කරගන්න.<a href="https://www.python.org/downloads/release/python-31011/" target="_blank">https://www.python.org/downloads/release/python-31011/</a><a href="https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe" target="_blank">https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe</a>1.2 Install git<a href="https://git-scm.com/downloads" target="_blank">https://git-scm.com/downloads</a><a href="https://github.com/git-for-windows/git/releases/download/v2.50.1.windows.1/Git-2.50.1-64-bit.exe" target="_blank">https://github.com/git-for-windows/git/releases/download/v2.50.1.windows.1/Git-2.50.1-64-bit.exe</a>1.3 CMD open කරගන්න2. Update Your System:sudo gives you administrative privileges, and -y automatically confirms prompts.[CODE=bash]sudo apt updatesudo apt upgrade -y[/CODE]3. Verify NVIDIA Driver Installation:table එකක් එන්න ඕනෙ එකේ gpu nvidia version එකයි cuda වර්ශන් එකයි. drivers නැත්නම් drivers ටික install කරගන්න[CODE=bash]nvidia-smi[/CODE]<h3>Windows</h3>4.1 Download & Install Ollamaමේකෙන් තමයි models run කරගන්නෙ.<a href="https://ollama.com/download/windows" target="_blank">https://ollama.com/download/windows</a>4.2 Check Ollama version. ex ollama version is 0.9.6[CODE=bash]ollama --version[/CODE]<h3>Linux</h3>4.1 Download & Install Ollama[CODE=bash]curl -fsSL https://ollama.com/install.sh | sh[/CODE]4.2 Check Ollama version. ex ollama version is 0.9.6[CODE=bash]ollama --version[/CODE]5. Download modelඕන model එකක් මෙතනින් search කරගන්න.<a href="https://ollama.com/search" target="_blank">https://ollama.com/search</a>small model එකකින් පටන් ගමු.5.1 gemma3:1b                <a href="https://ollama.com/library/gemma3:1b" target="_blank">https://ollama.com/library/gemma3:1b</a>මේක lightweight censored model එකක්. single gpu එකක run කරගන්න පුලුවන්. 1B parameters තියෙනව. text input කරන්න පුලුවන්.  32k context window. 140 languages[CODE=bash]ollama pull gemma3:1b [/CODE]5.2 gemma3:4b (recommended model)           <a href="https://ollama.com/library/gemma3:4b" target="_blank">https://ollama.com/library/gemma3:4b</a>මේක lightweight censored multimodal එකක්. single gpu එකක run කරගන්න පුලුවන්. 4B parameters තියෙනව. image/text දෙකම input කරන්න පුලුවන්.  128k context window. 140 languages[CODE=bash]ollama pull gemma3:4b [/CODE]6. List Downloaded Models[CODE=bash]ollama list[/CODE]7. Run Your First Model[CODE=bash]ollama run gemma3:1b[/CODE]8. To exit the interactive session, type /bye or press Ctrl + D9. Install openweb ui9.1 Create directory and navigate[CODE=bash]mkdir ~/open-webui-venvcd ~/open-webui-venv[/CODE]9.2 Create a Python Virtual Environment[CODE=bash]python3 -m venv venv[/CODE]9.3 Activate the Virtual Environment[CODE=bash]source venv/bin/activate[/CODE]You'll notice your terminal prompt changes (e.g., (venv) username@hostname:~/open-webui-venv$) to indicate that the virtual environment is active.9.4 Install Open WebUI[CODE=bash]pip install open-webui[/CODE]10.1 Start the Open WebUI Server[CODE=bash]open-webui serve[/CODE]This will usually start the server on <a href="http://localhost:8080" target="_blank">http://localhost:8080</a>. You can then access it from your Windows browser<a href="http://localhost:8080" target="_blank">http://localhost:8080</a>10.2 Deactivate the Virtual Environment (when you're done)[CODE]deactivate[/CODE]<h4>Uncensored Qwen3 - JOSIEFIED 8B</h4><a href="https://ollama.com/goekdenizguelmez/JOSIEFIED-Qwen3" target="_blank">https://ollama.com/goekdenizguelmez/JOSIEFIED-Qwen3</a>[CODE=bash]ollama run goekdenizguelmez/JOSIEFIED-Qwen3:8b[/CODE]This model has reduced safety filtering and may generate sensitive or controversial outputs. Use responsibly and at your own risk.<h4>Using Multimodal Models (LLaVA with Images)</h4>[CODE=bash]ollama run llava "What do you see in this image? /home/yourusername/Pictures/my_image.jpg"[/CODE](Replace /home/yourusername/Pictures/my_image.jpg with the actual path to your image.)මේ විදියට රන් කරගන්න පුලුවන් gpt, gemini වගේම models තියෙනවqwen3 කියන්නෙ එහෙම හොද කොලිටි මොඩල්ස්.  142GB 40K context, grok, deepseek r1, gemini 2.5, openai-o1 වලට වඩා benchmark score එක හොදයි.<a href="https://ollama.com/library/qwen3:235b" target="_blank">https://ollama.com/library/qwen3:235b</a>code කරන්න qwen coder එහෙම සුපිරි. OpenAI’s GPT-4oට වඩා හොදයි.<a href="https://ollama.com/library/qwen2.5-coder" target="_blank">https://ollama.com/library/qwen2.5-coder</a>ප්‍රශ්න මොනාහරි තියෙනව නම් දාපල්ල. gpu එකක් නැත්නම් gpu instance එකක රන් කරගන්න help එකක් ඕනෙ නම් කියපල්ල.</blockquote>

Verification: Dahaya deken beduwama keeyada?

Top Bottom