ගෙදරදීම CHAT-GPT Model එකක් හදා ගන්නා ආකාරය

dewmal nilanka

Well-known member
  • Oct 25, 2011
    1,168
    825
    113
    GPT3-v5.png




    CHAT GPT මොඩල් එක හදන්න බිලියනයකට කිට්ටු වෙන්න වියදම් කරා කියල තමා හිතන්නෙ.
    https://www.techgoing.com/how-much-does-chatgpt-cost-2-12-million-per-training-for-large-models/


    ඉතින් අපිට ඔය වගේ එකක් අපේ වැඩ වලට යූස් කරනව නන් කරන්න වෙන්නෙ ක්‍රම දෙකකට එකක් තමා අපිට එයාල දෙන මේ වගේ API https://openai.com/api/ එකක් යූස් කරන එක එහෙම නැත්තන් අපි ඒ වගේ මොඩල් එකක් Train කරන එක. උඩ ආටිකල් එක බැලුව නන් අදහසක් එයි අපිට දවසකට කොච්චර ඩොලර් මිලියන ගානක් ඔය වෙනුවෙන් යොදවන්න වෙනවද කියන එක. මේක ඇත්තටම ඉස්සරහට ලොකු ප්‍රශ්නයක් වෙන පොයින්ට් එකක් මේ විශයෙ ඉදිරි ගමනට.

    ගොඩක් අය මේක Law Resources වලින් හදාගන්න විදි ගැන කරන පරීක්ශණ කරල තියෙනව සහ කරනව. ඒකට විවිද මොඩල් යූස් කරනව එහෙම නැත්තන් ට්‍රෙන් කරන විදිය වෙනස් කරල බලනව ඔය වගේ ගොඩක් දේවල් කරනව.

    මේකත් එහෙම හොයගත්ත විදියක් මේකෙ වෙන්නෙ ඇත්තටම ට්‍රෙන් කරන විදිය තමා වෙනස් කරල තියෙන්නෙ.
    https://github.com/hpcaitech/ColossalAI

    මේක ට්‍රේනින් කරන විදිය පොඩ්ඩක් වෙනස් කරල තමා මේ ප්‍රෆොමන්ස් අරගෙන තියෙන්නෙ. කොහොම උනත් මේක ඔපන් සොස් නිසා අපිටත් අපේ ප්‍රොජෙක්ට් වලට යූස් කරන්න පුලුවන්.




    කඩ්ඩෙන් ලියල තියෙන ඩොක් එකක් උනත් සින්හල අපිට එච්චර අමාරුවක් නැතුව වැඩේ තේරුන් ගන්න පුලුවන් මේකෙන්.
    https://www.hpc-ai.tech/blog/colossal-ai-chatgpt

    https://github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT

    ChatGPT%20scaling.png


    LoRA%20data.jpg


    ට්‍රයි කරල බලල මොනව හරි තිබ්බොත් කියන්න සප් එකක් දෙන්නන්.

     

    elajani

    Well-known member
  • Oct 18, 2020
    7,649
    4,540
    113
    GPT3-v5.png




    CHAT GPT මොඩල් එක හදන්න බිලියනයකට කිට්ටු වෙන්න වියදම් කරා කියල තමා හිතන්නෙ.
    https://www.techgoing.com/how-much-does-chatgpt-cost-2-12-million-per-training-for-large-models/


    ඉතින් අපිට ඔය වගේ එකක් අපේ වැඩ වලට යූස් කරනව නන් කරන්න වෙන්නෙ ක්‍රම දෙකකට එකක් තමා අපිට එයාල දෙන මේ වගේ API https://openai.com/api/ එකක් යූස් කරන එක එහෙම නැත්තන් අපි ඒ වගේ මොඩල් එකක් Train කරන එක. උඩ ආටිකල් එක බැලුව නන් අදහසක් එයි අපිට දවසකට කොච්චර ඩොලර් මිලියන ගානක් ඔය වෙනුවෙන් යොදවන්න වෙනවද කියන එක. මේක ඇත්තටම ඉස්සරහට ලොකු ප්‍රශ්නයක් වෙන පොයින්ට් එකක් මේ විශයෙ ඉදිරි ගමනට.

    ගොඩක් අය මේක Law Resources වලින් හදාගන්න විදි ගැන කරන පරීක්ශණ කරල තියෙනව සහ කරනව. ඒකට විවිද මොඩල් යූස් කරනව එහෙම නැත්තන් ට්‍රෙන් කරන විදිය වෙනස් කරල බලනව ඔය වගේ ගොඩක් දේවල් කරනව.

    මේකත් එහෙම හොයගත්ත විදියක් මේකෙ වෙන්නෙ ඇත්තටම ට්‍රෙන් කරන විදිය තමා වෙනස් කරල තියෙන්නෙ.
    https://github.com/hpcaitech/ColossalAI

    මේක ට්‍රේනින් කරන විදිය පොඩ්ඩක් වෙනස් කරල තමා මේ ප්‍රෆොමන්ස් අරගෙන තියෙන්නෙ. කොහොම උනත් මේක ඔපන් සොස් නිසා අපිටත් අපේ ප්‍රොජෙක්ට් වලට යූස් කරන්න පුලුවන්.




    කඩ්ඩෙන් ලියල තියෙන ඩොක් එකක් උනත් සින්හල අපිට එච්චර අමාරුවක් නැතුව වැඩේ තේරුන් ගන්න පුලුවන් මේකෙන්.
    https://www.hpc-ai.tech/blog/colossal-ai-chatgpt

    https://github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT

    ChatGPT%20scaling.png


    LoRA%20data.jpg


    ට්‍රයි කරල බලල මොනව හරි තිබ්බොත් කියන්න සප් එකක් දෙන්නන්.

    JUST CALL YOUR WIFE
    ANY way thanks
     

    siri_ayya

    Well-known member
  • Feb 1, 2022
    16,975
    1
    29,762
    113
    GPT3-v5.png




    CHAT GPT මොඩල් එක හදන්න බිලියනයකට කිට්ටු වෙන්න වියදම් කරා කියල තමා හිතන්නෙ.
    https://www.techgoing.com/how-much-does-chatgpt-cost-2-12-million-per-training-for-large-models/


    ඉතින් අපිට ඔය වගේ එකක් අපේ වැඩ වලට යූස් කරනව නන් කරන්න වෙන්නෙ ක්‍රම දෙකකට එකක් තමා අපිට එයාල දෙන මේ වගේ API https://openai.com/api/ එකක් යූස් කරන එක එහෙම නැත්තන් අපි ඒ වගේ මොඩල් එකක් Train කරන එක. උඩ ආටිකල් එක බැලුව නන් අදහසක් එයි අපිට දවසකට කොච්චර ඩොලර් මිලියන ගානක් ඔය වෙනුවෙන් යොදවන්න වෙනවද කියන එක. මේක ඇත්තටම ඉස්සරහට ලොකු ප්‍රශ්නයක් වෙන පොයින්ට් එකක් මේ විශයෙ ඉදිරි ගමනට.

    ගොඩක් අය මේක Law Resources වලින් හදාගන්න විදි ගැන කරන පරීක්ශණ කරල තියෙනව සහ කරනව. ඒකට විවිද මොඩල් යූස් කරනව එහෙම නැත්තන් ට්‍රෙන් කරන විදිය වෙනස් කරල බලනව ඔය වගේ ගොඩක් දේවල් කරනව.

    මේකත් එහෙම හොයගත්ත විදියක් මේකෙ වෙන්නෙ ඇත්තටම ට්‍රෙන් කරන විදිය තමා වෙනස් කරල තියෙන්නෙ.
    https://github.com/hpcaitech/ColossalAI

    මේක ට්‍රේනින් කරන විදිය පොඩ්ඩක් වෙනස් කරල තමා මේ ප්‍රෆොමන්ස් අරගෙන තියෙන්නෙ. කොහොම උනත් මේක ඔපන් සොස් නිසා අපිටත් අපේ ප්‍රොජෙක්ට් වලට යූස් කරන්න පුලුවන්.




    කඩ්ඩෙන් ලියල තියෙන ඩොක් එකක් උනත් සින්හල අපිට එච්චර අමාරුවක් නැතුව වැඩේ තේරුන් ගන්න පුලුවන් මේකෙන්.
    https://www.hpc-ai.tech/blog/colossal-ai-chatgpt

    https://github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT

    ChatGPT%20scaling.png


    LoRA%20data.jpg


    ට්‍රයි කරල බලල මොනව හරි තිබ්බොත් කියන්න සප් එකක් දෙන්නන්.

    පට්ට මචන්..අපේ effort එකක්‌ යනවා openai api use කරලා public docs වලට chatbot කෙනෙක් හදන්න.. අපේ internal docs වලට හැබැයි ඒක හරියන්නේ නැහැ මොකද ඒවා private info නිසා.. මේ වගේ model එකකින් ඒ internal docs වලට chatbot interface එකක්‌ හදන්න පුළුවන් වේවි.. Thanks for sharing machan :love: