Developers ලා එන්නෝ

IT_Kollek

Junior member
  • Mar 10, 2015
    82
    22
    8
    මචන්ලා මට උබලගේ උදව්වක් ඕනේ. මන් මේ දවස් වල MSc එකේ research එක කරන ගමන් ඉන්නේ. එකට කරන්නේ Hate Speech Detection System එකක්.

    මේකෙ මම කරන්නේ system එකට user submit කරන text එකේ hate speech එකක් තියෙනවද කියලා check කරලා එවන එක .
    සිංහලෙන් ලියලා තියෙන ඒවයි detect කරගන්නේ මේකේ .


    මේක ගැන තව විස්තරයක් කලොත්, මම research papers බලද්දී කලින් කරපු ඒවා තිබ්බ, හැබැයි මම මෙතන කරන්නේ, ඔයාලා දැකලා ඇති කුණුහරුප ලියද්දි අපි special characters දාලා කුනුහරුපේ වහනවනේ. උදාහරණයක් විදියට කිව්වොත් ප*යෝ , හු *%තෝ වගේ . එහෙම නැත්නම් පොම්නයෝ ,පම්කෝ කියලා ම් දාලා වහන්නේ. අන්න ඒවා detect කරගන්න එකයි කරන්නේ.


    Hate Speech කියන්නේ තව කෙනෙක්ට හෝ කණ්ඩායමකට අපහසත්මකව කරන කතා වලට. අපහාස කරන්න පුළුවන් කුණුහරුපෙන් බැනලා, ආගම ඇදලා අරගෙන වගේ. මේ දවස් වල social media ගත්තොත් වැඩි හරියක් දකින්න තියෙන්නේ මේවනෙ.


    මේක අපිට පාවිච්චි කරන්න පුළුවන් මොකක් හරි news හෝ public forum එකක ( web or mobile) post submit කරද්දී ඒවගේ මෙහෙම hate speeches තියෙනවනම් submit වෙන එක නවත්තගන්න වගේ.හෝ ඔයාලට browser addon එකක් විදියට මේක හදලා එකෙන් ඔයාලගේ browser එකේදිම මේ විදියේ ප්‍රකාශ තියෙනවනම් සඟවාගන්න පුළුවන්.


    ඉතින් මේකෙදි මම survey එකක් කරනවා. එකේ ප්‍රශ්න 6යි තියෙන්නේ. විනාඩි 5ක් යන්නේ නැ මේකට. අන්න එ ටිකට check කරන්න විතරයි තියෙන්නේ.

    අනේ බන් මේක පට්ට හිසරදයක් බන්, ඉක්මනට කරලා ඉවර කරන්න ඕනේ. මට කරන උදව්වක් විදියට මේකට උත්තර ටික දාලා දෙන්නකෝ. නිකන් check කරන්න විතරයි තියෙන්නේ. :D


    මේ තියෙන්නේ ලින්ක් එක

    https://forms.gle/RjhrJbVDS6U8q74d7
     

    HAneo

    Well-known member
  • Jan 30, 2007
    12,970
    29,168
    113
    Homagama
    මේක ගැන තව විස්තරයක් කලොත්, මම research papers බලද්දී කලින් කරපු ඒවා තිබ්බ, හැබැයි මම මෙතන කරන්නේ, ඔයාලා දැකලා ඇති කුණුහරුප ලියද්දි අපි special characters දාලා කුනුහරුපේ වහනවනේ. උදාහරණයක් විදියට කිව්වොත් ප*යෝ , හු *%තෝ වගේ . එහෙම නැත්නම් පොම්නයෝ ,පම්කෝ කියලා ම් දාලා වහන්නේ. අන්න ඒවා detect කරගන්න එකයි කරන්නේ.

    https://forms.gle/RjhrJbVDS6U8q74d7
    Done
    මෙන්න මේකේ පොඩි කෙස් එකක් තියනවා. දැන් බලපන් ස්කාවියා තනිකර අමතන්නේ ඔය වචන සෙට් එකෙන්. එත් උගේ හේට් එකක් නැනේ. දැන් කාලේ කොල්ලෝ ඔය වචන දාල තමා නෝමල් කතා කරන්නේ. ඉතින් වචනෙන් අල්ලන්න බැ නේද බන් හේට් ස්පිච් කියන එක.

    මම කියන්නේ උබ ඕක හරියට කරනවා නම් මුළු සෙන්ටෙන්ස් එකම අරන් බලන්න ඕනේ මෙනින්ග් එක. එකේදී සෙන්ස් වෙනවා නම් කුණුහරප වචනේ කියන ෆිලින්ග් එක හේට් වගේ නම් flag කරන්න ඕනේ. නැත්නම් ඕක දැම්මම ලංකාවෙන් 75% උන් ban ලොල්. ඔය fb එකේ ඔය කුණුහරප මම දාල තියනවා වචන විතරක්. හැබැයි කාට හරි බැන්නොත් මැදට කුනුහරප දාල බඩුම තමා . උන් එක දිටෙක්ට් කරනවා නියමෙට
     

    IT_Kollek

    Junior member
  • Mar 10, 2015
    82
    22
    8
    Done
    මෙන්න මේකේ පොඩි කෙස් එකක් තියනවා. දැන් බලපන් ස්කාවියා තනිකර අමතන්නේ ඔය වචන සෙට් එකෙන්. එත් උගේ හේට් එකක් නැනේ. දැන් කාලේ කොල්ලෝ ඔය වචන දාල තමා නෝමල් කතා කරන්නේ. ඉතින් වචනෙන් අල්ලන්න බැ නේද බන් හේට් ස්පිච් කියන එක.

    මම කියන්නේ උබ ඕක හරියට කරනවා නම් මුළු සෙන්ටෙන්ස් එකම අරන් බලන්න ඕනේ මෙනින්ග් එක. එකේදී සෙන්ස් වෙනවා නම් කුණුහරප වචනේ කියන ෆිලින්ග් එක හේට් වගේ නම් flag කරන්න ඕනේ. නැත්නම් ඕක දැම්මම ලංකාවෙන් 75% උන් ban ලොල්. ඔය fb එකේ ඔය කුණුහරප මම දාල තියනවා වචන විතරක්. හැබැයි කාට හරි බැන්නොත් මැදට කුනුහරප දාල බඩුම තමා . උන් එක දිටෙක්ට් කරනවා නියමෙට
    ඔව් මචන් ඒක ඇත්ත. මුළු වාක්‍යම අරගෙන තමා බලන්නේ.ඒත් බන් කුනුහරුපයක් තිබ්බොත් එක හේට් ස්පීච් එකක් වෙන්න තියෙන ඉඩ වැඩි. අපේ උන් නිකනුත් කුණුහරුපෙන් කියලා යනවනේ. සිංහල භාෂාවේ ඉතින් කුණුහරුප කොහොමත් තියෙනවා. එහෙම බලද්දී අමාරුයි ඒක අල්ලන්න :D
     

    HAneo

    Well-known member
  • Jan 30, 2007
    12,970
    29,168
    113
    Homagama
    ඔව් මචන් ඒක ඇත්ත. මුළු වාක්‍යම අරගෙන තමා බලන්නේ.ඒත් බන් කුනුහරුපයක් තිබ්බොත් එක හේට් ස්පීච් එකක් වෙන්න තියෙන ඉඩ වැඩි. අපේ උන් නිකනුත් කුණුහරුපෙන් කියලා යනවනේ. සිංහල භාෂාවේ ඉතින් කුණුහරුප කොහොමත් තියෙනවා. එහෙම බලද්දී අමාරුයි ඒක අල්ලන්න :D
    මම කියන්නේ ඔතන කැටගරි දෙකක් එන්න ඕනේ කියාල
    1 එකක්ට් හේට් ස්පීච්
    2. අනික සුදුසු නැති බාෂා හැසිරුම වගේ එකෙක්

    මොකද හේට් ස්පිච් කියන්නේ මචන් හෙනම ලොකු කෙස් එකක්. හරි නීතියක් තියන රටක කෙලින්ම හිරේ යන එකක්. නමුත් බෂා හසුරුම එච්චර ලොකු දෙයක් නෙමේ අර එක්ක බැලුවම
     

    IT_Kollek

    Junior member
  • Mar 10, 2015
    82
    22
    8
    මම කියන්නේ ඔතන කැටගරි දෙකක් එන්න ඕනේ කියාල
    1 එකක්ට් හේට් ස්පීච්
    2. අනික සුදුසු නැති බාෂා හැසිරුම වගේ එකෙක්

    මොකද හේට් ස්පිච් කියන්නේ මචන් හෙනම ලොකු කෙස් එකක්. හරි නීතියක් තියන රටක කෙලින්ම හිරේ යන එකක්. නමුත් බෂා හසුරුම එච්චර ලොකු දෙයක් නෙමේ අර එක්ක බැලුවම
    මචන් මෙතැනදී සුදුසි නැති භාෂා හැසිරුම යටතට එන උදාහරණ කීපයක් කියන්න පුලුවන්ද ?


    දැන් මන් කරන විදියට ගත්තම,

    තෝ හු*තෝ පිස්සුනේ කෙලින්නේ. අපිට කන්නත් නැතුව ඉන්න වෙලේ .
    මේ වාක්‍යයේ හේට් ස්පීච් එකක් නැනේ . ඒ උනාට ඒක අහු වෙන්න ඉඩ වැඩි කුනුහරුපයක් තියෙන හින්ද. එකේදී මට පුරෝකතනයක් කරන්න කලින් වෙනම චෙකින් පාර්ට් එකක් කරන්න වෙයි වගේ .

    දැන් මේ යට තියෙන එක ගත්තම. එක හේට් ස්පීච් එකක් නෙමෙයි. ඒත් ඕක අස්සට කුනුහරුපයක් දැම්මොත් නසරනි වෙනවා :D
    උබලගේ පවක් වෙන්න ඇති , පන්සලකටවත් යන්න හිතෙන්නේ නැත්තේ.

    එ කියන්නේ මේ විදියට
    උබලගේ පවක් වෙන්න ඇති , පන්සලකටවත් යන්න හිතෙන්නේ නැත්තේ පවුකාර ප*කු.

    ඔහොම උනාම ඕක හෙට් ස්පීච් එකක්නේ. එතකොට තමා කොර වෙන්නේ :D

    හැදුවා වගේම update කරන්නත් වෙයි. අපේ උන් මැද්දට මයන්න දාලත් ටයිප් කරනවා
    ඔව් බන් :D
    ------ Post added on Jun 25, 2022 at 9:39 AM
     

    HAneo

    Well-known member
  • Jan 30, 2007
    12,970
    29,168
    113
    Homagama
    මචන් මෙතැනදී සුදුසි නැති භාෂා හැසිරුම යටතට එන උදාහරණ කීපයක් කියන්න පුලුවන්ද ?


    දැන් මන් කරන විදියට ගත්තම,

    තෝ හු*තෝ පිස්සුනේ කෙලින්නේ. අපිට කන්නත් නැතුව ඉන්න වෙලේ .
    මේ වාක්‍යයේ හේට් ස්පීච් එකක් නැනේ . ඒ උනාට ඒක අහු වෙන්න ඉඩ වැඩි කුනුහරුපයක් තියෙන හින්ද. එකේදී මට පුරෝකතනයක් කරන්න කලින් වෙනම චෙකින් පාර්ට් එකක් කරන්න වෙයි වගේ .

    දැන් මේ යට තියෙන එක ගත්තම. එක හේට් ස්පීච් එකක් නෙමෙයි. ඒත් ඕක අස්සට කුනුහරුපයක් දැම්මොත් නසරනි වෙනවා :D
    උබලගේ පවක් වෙන්න ඇති , පන්සලකටවත් යන්න හිතෙන්නේ නැත්තේ.

    එ කියන්නේ මේ විදියට
    උබලගේ පවක් වෙන්න ඇති , පන්සලකටවත් යන්න හිතෙන්නේ නැත්තේ පවුකාර ප*කු.

    ඔහොම උනාම ඕක හෙට් ස්පීච් එකක්නේ. එතකොට තමා කොර වෙන්නේ :D


    ඔව් බන් :D
    ------ Post added on Jun 25, 2022 at 9:39 AM
    ආ කැ** සුබ උදෑසනක් හුම්තෝ .... මේක හේට් ස්පිච් නෙමේ මචන්. එත් මෙහෙ බශාව කෙස් නේ. සෝ එක බාෂා හැසිරුම වරදට ගන්න වෙන්නේ.

    උබ කැ** දැනගනින මම උබේ මුළු පව්ලම හැදී ගාවනවා -- මේක තනිකර හෙට් ස්පිච්. සෝ මේක පනිෂ් කරන්න ඕනේ දෙයක් . එත් උඩ එක පනිෂ් කරන්න දෙයක් නෙමේ මම හිතන විදිහට.

    මචන් ප්‍රොෆයිල් ban කරලා ඔය වැඩේ කරන්න අමාරුයි අපේ උන් එක්ක. එකට කරන්න ඕනේ උගේ ප්‍රොෆයිල් එකට ගියාම එකේ ලින්ක් එකක් දෙනවා උගේ සෝෂල් ස්ටේටස් කියල. එකේදී දෙනවා 0 -100 ප්රෝග්රෙස්ස් බාර් එකක් උගේ බාශාව හැසිරවීම. ඌ හිතපන් නියැදි ගානක් එක කැඩුවොත් 1% අඩු කරනවා. නෙක්ස්ට් ටයිම් බැලුවම උගේ එක 99% . දැන් ඔය ඉන්දිකෙටර් උට මාරම හිසරදයක්. මොකද අනික් උන් දැනගන්නවා මු කතා කරන්න දන්නේ නැති එකෙක් කියල. අන්න එහෙම උනාම ඕක ඉබේ නවතිනවා

    හෙට් ස්පිච් කෙලින්ම දවස් 30 කට ban . එකේ ඉන්දිකෙටර් එක එන්න ඕනේ "No of times : 1 Bans for hate speech" වගේ එකක්. ඔය වගේ එකක් ගෙනාව නම් ලොවෙත් අපේ උන් සලෙන්ඩර් වෙනවා. යකෝ කෙල්ල්වක් ටෝක් කරගන්න වෙන්නේ නැනේ. ඒ නිසා හැමෝම හැදෙනවා
     

    IT_Kollek

    Junior member
  • Mar 10, 2015
    82
    22
    8
    ආ කැ** සුබ උදෑසනක් හුම්තෝ .... මේක හේට් ස්පිච් නෙමේ මචන්. එත් මෙහෙ බශාව කෙස් නේ. සෝ එක බාෂා හැසිරුම වරදට ගන්න වෙන්නේ.

    උබ කැ** දැනගනින මම උබේ මුළු පව්ලම හැදී ගාවනවා -- මේක තනිකර හෙට් ස්පිච්. සෝ මේක පනිෂ් කරන්න ඕනේ දෙයක් . එත් උඩ එක පනිෂ් කරන්න දෙයක් නෙමේ මම හිතන විදිහට.

    මචන් ප්‍රොෆයිල් ban කරලා ඔය වැඩේ කරන්න අමාරුයි අපේ උන් එක්ක. එකට කරන්න ඕනේ උගේ ප්‍රොෆයිල් එකට ගියාම එකේ ලින්ක් එකක් දෙනවා උගේ සෝෂල් ස්ටේටස් කියල. එකේදී දෙනවා 0 -100 ප්රෝග්රෙස්ස් බාර් එකක් උගේ බාශාව හැසිරවීම. ඌ හිතපන් නියැදි ගානක් එක කැඩුවොත් 1% අඩු කරනවා. නෙක්ස්ට් ටයිම් බැලුවම උගේ එක 99% . දැන් ඔය ඉන්දිකෙටර් උට මාරම හිසරදයක්. මොකද අනික් උන් දැනගන්නවා මු කතා කරන්න දන්නේ නැති එකෙක් කියල. අන්න එහෙම උනාම ඕක ඉබේ නවතිනවා

    හෙට් ස්පිච් කෙලින්ම දවස් 30 කට ban . එකේ ඉන්දිකෙටර් එක එන්න ඕනේ "No of times : 1 Bans for hate speech" වගේ එකක්. ඔය වගේ එකක් ගෙනාව නම් ලොවෙත් අපේ උන් සලෙන්ඩර් වෙනවා. යකෝ කෙල්ල්වක් ටෝක් කරගන්න වෙන්නේ නැනේ. ඒ නිසා හැමෝම හැදෙනවා
    මේකත් හරියට නිකන් මචන් අපේ සාමාන්‍ය ජිවිතේ වගේ තමා. නිකන්ම කුනුහරුපම කියාගෙන ඉන්න එකෙක්ම highlight කරගන්න පුළුවන් system එකක් ඇතුලෙදි. එක එක්කෙනාගේ attitudes හදුනාගන්න පුළුවන් ඉතින්. හැබැයි ඉතින් මන් කරන එකට මේක කරන්න බැ. මොකද මන් මේක කරන්න ගියොත් වෙන system එකක users ලගේ data මගේ system එකට එවන්න ඕනේ character එක identify කරගන්න වගේ නේද මචන්
     
    • Like
    Reactions: HAneo

    HAneo

    Well-known member
  • Jan 30, 2007
    12,970
    29,168
    113
    Homagama
    මේකත් හරියට නිකන් මචන් අපේ සාමාන්‍ය ජිවිතේ වගේ තමා. නිකන්ම කුනුහරුපම කියාගෙන ඉන්න එකෙක්ම highlight කරගන්න පුළුවන් system එකක් ඇතුලෙදි. එක එක්කෙනාගේ attitudes හදුනාගන්න පුළුවන් ඉතින්. හැබැයි ඉතින් මන් කරන එකට මේක කරන්න බැ. මොකද මන් මේක කරන්න ගියොත් වෙන system එකක users ලගේ data මගේ system එකට එවන්න ඕනේ character එක identify කරගන්න වගේ නේද මචන්
    basically yes.. you cannot implement this method along.
    and cannot do this with slandered programming models. so big data and AI has to be involved in this process
    but you can implement a model by imagine those external data and model will be introduced in the future.
    But since this is an educational project just try to pass and you should try to implement this after you obtain your MSC :yes:
     
    • Like
    Reactions: Natsu_Drag001

    Tikiril

    Well-known member
  • May 14, 2021
    508
    937
    93
    Filled and submitted.

    Mainly in this subject area most difficult part is identifying the feeling behind particular so called hate speech sentence. Even if we use such words, background feeling might not be hate. There are people who use hate words as a habit, not really to show hate. Just from the words I don't think, you can identify hatreds. Anyway good luck with the research machan. 😍
     
    • Haha
    • Love
    Reactions: IT_Kollek and HAneo

    SupiriKollek

    Well-known member
  • Aug 30, 2021
    3,361
    5,968
    113
    Done
    Meka meeta Wada wenas widi walata approach karannath puluwan neda
    Factor analysis ekak wage karala
    Use the both them together for better accuracy
     
    • Love
    Reactions: IT_Kollek

    HAneo

    Well-known member
  • Jan 30, 2007
    12,970
    29,168
    113
    Homagama
    Filled and submitted.

    Mainly in this subject area most difficult part is identifying the feeling behind particular so called hate speech sentence. Even if we use such words, background feeling might not be hate. There are people who use hate words as a habit, not really to show hate. Just from the words I don't think, you can identify hatreds. Anyway good luck with the research machan. 😍
    we can find lots of examples in elakiri :p :p :p
     

    Ozone4

    Well-known member
  • Aug 26, 2016
    3,756
    6,016
    113
    No Where
    Done
    මෙන්න මේකේ පොඩි කෙස් එකක් තියනවා. දැන් බලපන් ස්කාවියා තනිකර අමතන්නේ ඔය වචන සෙට් එකෙන්. එත් උගේ හේට් එකක් නැනේ. දැන් කාලේ කොල්ලෝ ඔය වචන දාල තමා නෝමල් කතා කරන්නේ. ඉතින් වචනෙන් අල්ලන්න බැ නේද බන් හේට් ස්පිච් කියන එක.

    මම කියන්නේ උබ ඕක හරියට කරනවා නම් මුළු සෙන්ටෙන්ස් එකම අරන් බලන්න ඕනේ මෙනින්ග් එක. එකේදී සෙන්ස් වෙනවා නම් කුණුහරප වචනේ කියන ෆිලින්ග් එක හේට් වගේ නම් flag කරන්න ඕනේ. නැත්නම් ඕක දැම්මම ලංකාවෙන් 75% උන් ban ලොල්. ඔය fb එකේ ඔය කුණුහරප මම දාල තියනවා වචන විතරක්. හැබැයි කාට හරි බැන්නොත් මැදට කුනුහරප දාල බඩුම තමා . උන් එක දිටෙක්ට් කරනවා නියමෙට
    Adarei Huththo..:sorry:
     
    • Love
    Reactions: HAneo

    Ozone4

    Well-known member
  • Aug 26, 2016
    3,756
    6,016
    113
    No Where
    ආ කැ** සුබ උදෑසනක් හුම්තෝ .... මේක හේට් ස්පිච් නෙමේ මචන්. එත් මෙහෙ බශාව කෙස් නේ. සෝ එක බාෂා හැසිරුම වරදට ගන්න වෙන්නේ.

    උබ කැ** දැනගනින මම උබේ මුළු පව්ලම හැදී ගාවනවා -- මේක තනිකර හෙට් ස්පිච්. සෝ මේක පනිෂ් කරන්න ඕනේ දෙයක් . එත් උඩ එක පනිෂ් කරන්න දෙයක් නෙමේ මම හිතන විදිහට.

    මචන් ප්‍රොෆයිල් ban කරලා ඔය වැඩේ කරන්න අමාරුයි අපේ උන් එක්ක. එකට කරන්න ඕනේ උගේ ප්‍රොෆයිල් එකට ගියාම එකේ ලින්ක් එකක් දෙනවා උගේ සෝෂල් ස්ටේටස් කියල. එකේදී දෙනවා 0 -100 ප්රෝග්රෙස්ස් බාර් එකක් උගේ බාශාව හැසිරවීම. ඌ හිතපන් නියැදි ගානක් එක කැඩුවොත් 1% අඩු කරනවා. නෙක්ස්ට් ටයිම් බැලුවම උගේ එක 99% . දැන් ඔය ඉන්දිකෙටර් උට මාරම හිසරදයක්. මොකද අනික් උන් දැනගන්නවා මු කතා කරන්න දන්නේ නැති එකෙක් කියල. අන්න එහෙම උනාම ඕක ඉබේ නවතිනවා

    හෙට් ස්පිච් කෙලින්ම දවස් 30 කට ban . එකේ ඉන්දිකෙටර් එක එන්න ඕනේ "No of times : 1 Bans for hate speech" වගේ එකක්. ඔය වගේ එකක් ගෙනාව නම් ලොවෙත් අපේ උන් සලෙන්ඩර් වෙනවා. යකෝ කෙල්ල්වක් ටෝක් කරගන්න වෙන්නේ නැනේ. ඒ නිසා හැමෝම හැදෙනවා
    Black Mirror 1ke me episode 1 matak una bn.
     

    IT_Kollek

    Junior member
  • Mar 10, 2015
    82
    22
    8
    basically yes.. you cannot implement this method along.
    and cannot do this with slandered programming models. so big data and AI has to be involved in this process
    but you can implement a model by imagine those external data and model will be introduced in the future.
    But since this is an educational project just try to pass and you should try to implement this after you obtain your MSC :yes:
    Thanks for your valuable ideas. I hope to do enhancement for future works. Yes exactly at this point I need to pass this module :)
    Thanks again :love2:

    Filled and submitted.

    Mainly in this subject area most difficult part is identifying the feeling behind particular so called hate speech sentence. Even if we use such words, background feeling might not be hate. There are people who use hate words as a habit, not really to show hate. Just from the words I don't think, you can identify hatreds. Anyway good luck with the research machan. 😍

    Of course there are some difficulties when comparing with background feeling.
    Thank you very much machan for your idea :love2:
    Done
    Meka meeta Wada wenas widi walata approach karannath puluwan neda
    Factor analysis ekak wage karala
    Use the both them together for better accuracy
    ow factor analysis ekakin karanna puluvan, mn dakka ehema kalin karala thibba eva vagekuth. thanks machan mn balannam eka :love2:
     
    • Love
    Reactions: HAneo

    kevin_levin

    Well-known member
  • Jun 9, 2014
    10,368
    14,196
    113
    NLP implement කරගන්න පුළුවන් නම් වැඩේ ලේසි වෙයි 🙃 ඔක්කොමත් හරි ඕක Demonstrate කරනකොට ආතල් වැඩ කරන්න පුළුවන් හැබැයි 🤣 Train කරපු Model එකක් අරං සිංහලට පෙරලගන්න බැලුවොත් මොකද?
     
    • Love
    Reactions: IT_Kollek