AI වචන තේරුම් කරගන්න Word Embedding භාවිතා කරන හැටි

dewmal nilanka

Well-known member
  • Oct 25, 2011
    1,327
    1,292
    113
    “Künstliche нейрон” මේකෙ තේරුම දන්නවද? කලින් මේ ගැන දන්නෙ නැත්තන් දැන් ඔය තියෙන සන්කේතවලට තියෙන්නෙ අපි කලින් දන්න ඉංග්‍රිසි හෝඩියෙ අකුරු වලට ලගින් යන ගැලපීමක් විතරයි.

    පළවෙනි අකුර ඉංග්‍රිසි හෝඩියෙ K වගේ, ඊට පස්සෙ ඉංග්‍රිසි හොඩියෙ තියෙන අකුරුවලට සාමාන අකුරු ටිකක් වෙන් කරගන්න පුලුවන්. ඒත් ඒව ඒ ශබ්ද එක්ක කියව්වට අපි දන්න තේරුමක් නන් එන්නෙ නෑ. ඇත්තම හේතුව තමා ඔය අකුරු Set දෙක මීට කලින් අපිට වෙන දෙයක් එක්ක යෙදිල නැති එක.

    දැන් මම ඕක මෙහෙම ලිව්වොත් Artificial нейрон ඔය දෙවනි වචනෙ ඔයාට හරියටම ශුවර් නැතත් නිකන් ගෙස් කරන්න් පුළුවන් Intelligence කියල. ඒක හරිද වැරදිද තාම දන්නෙ නැති උනත් එහෙම වෙන්න පුළුවන් කියල හිතන්න පුළුවන් මොකද අපේ මොලේ ඇතුලෙන් අපිට ඔය Artificial කියන සන්කේත ගොඩ එක්ක ගොඩක් වෙලාවට මේ වෙනකොට මුණ ගැහිල තියෙන්නෙ Intelligence කියන එක.නමුත් ඇත්තටම ඔය දෙවනි වචනෙ Intelligence නෙවෙයි ඒක Neuron. දැන් ඔයා нейрон වචනෙට තේරුමක් හදාගත්ත හේතුව මම ඒ වචනෙ ගැන වෙන ඔයා දැනටමත් දන්නෙ වචන ටිකක් එක්ක පැහැදිලි කරා. එතකොට Künstliche මේ කොටස ලියල තියෙන්නෙ ජර්මන් භාෂාවෙන්, දැන් ඔන්න ඔයාගෙ ඔලුවට ගියා අහ් එහෙනන් දෙවනි කොටස වෙන භාෂාවකින්ද ලියල තියෙන්නෙ කියල. ඔව් දෙවනි කොටස ලියන්නෙ රුසියානු භාෂාවෙන්.

    දැන් ඔයාගෙ ඔලුවෙ ඔය දැනුම පැල උනේ මෙන්න මෙහෙම.

    🎯 Künstliche нейрон කියල මොකද්ද එකක් තියෙනව
    🎯 Artificial нейрон පළවෙනි කෑල්ල Künstliche කියන්නෙ එතකොට Artificial
    🎯 දෙවනි කැල්ල එතකොට Intelligence ද?
    🎯 නෑ දෙවැනියට තියෙන Нейрон කියන්නෙ Neuron වලට
    🎯 ජර්මන් භාෂාවෙන් Artificial කියන එක ලියන්නෙ මෙහෙම Künstliche කියල
    🎯 රුසියන් භාෂාවෙන් Neuron කියන එක ලියන්නෙ нейрон කියල

    ඔය විදියට කොටස කොටස ඔයා හදාගත්තෙ Künstliche, нейрон කියන වචන දෙකට තේරුම්. මෙතන නැති නිසා ඔයා දන්නෙ නෑ මේව කොහොමද කියවන්නෙ කියන එක.

    හරි ඔය කොටස තව පාරක් කියවල ආයේ මෙතන කියවන්න පටන් ගත්තත් කමක් නෑ. ඒ වගේම අනිවාර්‍යෙන් ඔයාගෙ අදහසත් කමෙන්ට් එකකින් දාගෙන යන්න.

    හරි දැන් අපිට පේනව අපි නොදන්න වචනයක් යෙදෙන වාර ගාණ වැඩි වෙන්න වෙන්න ඒ වචනෙ ගැන අපි දැනගන්න ප්‍රමාණය වැඩි වෙනව. මොකද එහෙම යෙදෙන වාරයක් වාරයක් පාසා අපි ඉගෙන ගන්නව ඒ වචනෙ තියෙන්න පුළුවන් ක්‍රමයක් සහ ඒකෙන් අදහස් කරන දේ පවතින්න පුළුවන් ආකාර ටික. මෙන්න මෙහෙම අපි පුලුවන් තරම් එක එක දේවල් ගැන තොරතුරු ගොඩක් එකතු කරගන්න ගන්න අපි ලග තියෙන වචන වලට ලැබෙන තේරුම් තව තව ඔපමට්ටම් වෙනව.

    නිකමට හිතන්න මම කිව්වොත් මාලු ඇවිදිනව කියල ඔයා කියයි මාලුවෙක් වතුරෙ විතරයි පීනන්නෙ කියල මොකද අපි උන් පණ පිටින් ගොඩ ඉන්නව දැකල, අහල කියවල නෑ. හැබයි එහෙම මාලු විශේෂයක් ගැන පරීක්ෂණ කරන විද්‍යාඥයෙක් කියයි ඔව් එහෙම එකෙක් ඉන්නව එයාගෙ නම Mudskippers, එයා පැන පැන තමා යන්නෙ වගේ විස්තර ගොඩක්. මොකද එයා එකතු කරගෙන තියෙන තේරුම් අතරෙ එහෙම සිද්ධි ගොඩක් තිබිල තියෙනව. අපි කෙනෙක්ගෙන් මොනව හරි දෙයක් ගැන අහනකොට එයා ඒ ගැන උත්තර දෙන්නෙ එයා කියවල තියෙන සම්බන්ධතා ගොඩෙන්. සමහර වෙලාට මම නන් දන්නේ නෑ වගේ උත්තරත් ඔයාට ලැබෙන්න ඉඩ තියෙනව එයා ඒ ගැන කලින් කියවල නැත්තන්.

    මේ කතාව අපි මෙහෙම තේරුම් ගත්තට අපිට ඕක එක පාරම පරිගණක වලට තේරුම් කරන්න බෑ. ඒ නිසා අපිට ඕනි වෙනව පරිගණකයට තේරුම් ගන්න පුලුවන් ක්‍රමයක්. මේන්න මේ නිසා අපි ගණිතය පාවිච්චි කරල මේ සම්බන්ධයන් Model කරනව. එහෙම හදන Model වලට අපි කියනව Word Embedding model කියල. එතකකොට මෙහෙම හදාගත්ත Model එකකට අපි වචනයක් දීල ඇහුවොත් එයා එයා ලග තියෙන ගණිත ආකෘතිය පාවිච්චි කරල අපිට ඒ තේරුම ගැන අපිට කියනව. තේරුමක් දන්නෙ නැති උනත් එයා ඒක දන්නෙ නෑ කියන එකත් ඔය ආකෘතිය මගින්ම අපිට කියනව. මෙතන ඇත්තටම අපි තියාගන්නෙ එතකොට වචන වලට එන තේරුම මොකද්ද කියන එක. මේ තේරුම හදන්නෙ අපි ඒ වෙලාවෙ පාවිච්චි කරන Corpus එකෙන් හදාගන්න Vocabulary එක. Corpus කියන්නෙ වාක්‍යය ගොඩක එකතුවක්, Vocabulary එක කියන්නෙ ඒ Corpus එකේ තියෙන හැම වෙනස් වචනයක්ම එකතු කරල හදාගන්න දත්ත ගබඩාවක්. අපි මේ Corpus එක මොනව හරි විෂයකට අයිති දේවල් වලින්ම හැදුවොත් අපිට හැදේන්නෙ ඒ විෂය ඇතුලෙ වචන වලට තේරුම් තියෙන Vocabulary එකක්. දැන් LLM වගේ ඒව හදන්න එහෙම විෂයකට වෙන් කරන්නෙ නැතුව අහුවෙන ඕනි එකක් දාල හදාගත්ත Vocabulary එකක් තමා ගන්නෙ. එතකොට එයා ලග Medical Field එකේ දැනුමත් තියෙනව, Software Industry එක ගැන දැනුමත් තියෙනව. Corpus ඒකෙ ප්‍රමාණය වැඩි වෙන්න වෙන්න වචනයකට ලැබෙන තේරුමත් වැඩි වෙනව.

    ඊළගට අපි බලමු මේ හදාගන්න Word Embedding model කොහොමද LLM වල දැනුම වැඩි කරන්න පාවිච්චි කරන්නෙ කියන එක. මේක ටිකක් දිග කතාවක්. කොච්චර දිගට යනවද කියන එක මම දන්නෙ නෑ. හැබයි එකක් ශුවර් මේ කියවපු දේවල් ඇතුලෙ තේරුනේ නැති දෙයක්, මම කරල වැරද්දක් වගේ ඕනිම දෙයක් කමෙන්ට් කරන්න පුළුවන් නන් මේ කතාව ටිකක් දිගට අරගෙන ගිහින් ගොඩක් දේවල් අපි ඔක්කොටම ඉගෙන ගන්න පුළුවන් වෙයි.

    #AI #artificialintelligence #AppliedAI
     

    wissnshaftler

    Well-known member
  • Dec 13, 2023
    6,822
    11,252
    113
    ටහිකේ මරුනෙ


    මේකත් පොඩ්ඩයි තේරුනේ. පලවෙනි ටික විතරයි..
    මේකට තෙරුං කරන්ඩ යන්ඩ එපා . කසිය ගහලම මොලේ මැරිල තියෙන්නෙ මුගෙ