Non-determinism in GPT-4

[හෙළයෙක්]

https://152334h.github.io/blog/non-determinism-in-gpt-4/

It’s well-known at this point that GPT-4/GPT-3.5-turbo is non-deterministic, even at temperature=0.0. This is an odd behavior if you’re used to dense decoder-only models, where temp=0 should imply greedy sampling which should imply full determinism, because the logits for the next token should be a pure function of the input sequence & the model weights.

මුන් මේ කියන්නෙ. මෙතන තියෙන හැම කන්ඩිශන් එකක්ම එකක් පස්සෙ එකක් එන විදියට හැදුවත් එන උත්තරේ හරියටම එන උත්තරේ මොකද්ද කියල කියන්න බෑ කියන එක. තියරිටිකලි ඒක එහෙම වෙන්න බෑ කියල තමා හිතන්නෙ. ML ඉගෙන ගන්න හැටි ගැන ගොඩක් දේවල් දන්නෙ නැති නිසා අපි හිතන්නෙම නැති මගුලක් වෙන්නත් පුලුවන්.

 

[TNHM]

 

[Rontmir]

https://152334h.github.io/blog/non-determinism-in-gpt-4/

It’s well-known at this point that GPT-4/GPT-3.5-turbo is non-deterministic, even at temperature=0.0. This is an odd behavior if you’re used to dense decoder-only models, where temp=0 should imply greedy sampling which should imply full determinism, because the logits for the next token should be a pure function of the input sequence & the model weights.

 

[හෙළයෙක්]

මොකද හිතෙන්නෙ,

මට මේකට @dilann @greenthunder @ek_rosh tag කරන්න බැරි උනා.

 

[Rontmir]

මොකද හිතෙන්නෙ,

මට මේකට @dilann @greenthunder @ek_rosh tag කරන්න බැරි උනා.

Therune nane bn mukuth

 

[dilann]

මොකද හිතෙන්නෙ,

මට මේකට @dilann @greenthunder @ek_rosh tag කරන්න බැරි උනා.

එහෙම අදහසක් නෑ මොකද්ද කියලා බන්

 

[හෙළයෙක්]

Therune nane bn mukuth

මේ රිපලයි ටිකත් එක්ක ඕක තියෙන නූලෙ ඩිලාන් එක්ක කතා කරපු ටිකත් බලන්න. (නියතිවාදය ගැන අදහසක් ගන්න විතරක් බලන්න බෞද්ධ කෑලි ටික අයින් කරන්න)

ඔව්, මේක ඔහේ ගලාගෙන යනවා, අර ඒ "දිලාන්" කියල ඇතිවෙන හැඟීම එලෝන්ග් ෆො ද රයිඩ් විතරයි. ෆිසිකලිසම් ගැන මම ලොකු දෙයක් දන්නේ නැහැ. ඒකයි දිලාන්ගෙන් ප්‍රශ්න කීපයක් ඇහුවෙ. ඔය කියන විදිහට භෞතික තුලම ඉදලා මේක කතාකරන්න පුලුවන්ද නැතිනම් කොන්ශස්නස්, චොයිසස් වගේ දේවලුත් භෞතික විදිහට සාර්ථකව ඩිෆයින් කරගන්න ක්‍රමයක් තියනවද කියල දැනගන්න. ප්‍රශ්නෙ තියෙන්නෙ කොයි විදිහට කලත් එතනදි නියතිවාදයකට (නියති කියන්නෙ මොකක් හරි එකක් වෙනවා නෙමෙයි මොක උනත් වෙලා තියෙන්නේ කියන එක) යන එක වලක්වන්න බැහැ.

ඔතන ඊලඟ ප්‍රශ්නය ඉතින් අර කලින් ත්‍රෙඩ් එකක මග්ගවිහාරී හාමුදුරුවෝ එතික්ස් පැත්තෙන්, නීතිය සහ දඬුවම් පැත්තෙන් මතුකරන ප්‍රශ්න ටික නේ...

ඔව් ඒක පැහැදිලියි. නමුත් ප්‍රශ්නය තියෙන්නේ නියතිවාදය තුල.



මම හිතන්නේ දිලාන්ට නියතිවාදය (එතුලින් ඉස්මතු කරපං කාරණය) පැහැදිලි නැහැ. නියතිවාදයෙන් කියන්නෙ පැවැත්ම තුල අපිට යමක් මේ විදිහට හෝ වෙන විදිහට කිරීමට තේරීමක් (choice) එකක් නැහැ කියල. එහෙම කියන්න පදනම වෙන්නෙ සියල්ල භෞතික (monoism) වීම.

හේතුන් නිසා හැමදේම හටගන්නවා කියනවාට වඩා නිවැරදියි හේතු ප්‍රත්‍ය ( conditionality) නිසා සකස්වීම කියලා කියන එක. හටගැනීම කිව්වම අරකෙන් මේක එනවා මේකෙන් අරක එනවා කියන අදහස එන්නේ. ඊලඟට දිලාන් වගේ, ධර්මය සබ්ස්ටන්ස් තියරි එකකට යන්නෙ නැහැ. ඒ කියන්නෙ අපිට දැනගන්න පුලුවන් මෙන්න මේ ටිකයි කියන ආනුභූතික පදනමෙන් තමා ධර්මය විවරණය එන්නේ. දිලාන් සබ්ස්ටන්ස් තියරි එකකට යනවා. ඒ කියන්නෙ භෞතිකයක් තියනවා කියන එක. භෞතිකයක් තියනවා, තිබෙන්නේ ඒ භෞතිකය පමණයි නම් ඒ භෞතිකය මතම තමා සියල්ල රඳා පවතින්නේ.

සබ්ස්ටන්ස් තියරි (ඇත හෝ නැත කියන අන්ත ඇසුරු කරන්නෙ නැහැ)එකක් ඇසියුම් නොකර මේ මොහොතේ අත්විඳිය හැකි දේවල් වලින් පැහැදිලි කිරීම නිසා තමා ධර්මය නියතිවාදයකටත් (determinism) එකේ ප්‍රතිවිරුද්ධ ස්වතන්ත්‍රය (free will) ටත් නොයන්නේ. ඒ වෙනුවට නියතිවාදයකත් ස්වතන්ත්‍රයකත් සංකලනයක් තමා බුදුදහම ඉදිරිපත් කරන්නේ.



Edited - new reply to හෙළයෙක්



ඔව් මේ සබ්ස්ටන්ස් තියරියකට යන එකම තමා ගැටළුව. බුදුහාමුදුරුවො කච්චානගොත්ත සූත්‍රයේදි සබ්ස්ටන්ස් තියරි ප්‍රතික්ෂේප කරලා දානවා. එහෙම කරන්නෙ සබ්ස්ටන්ස් "නැහැ" කියලා නෙමෙයි. අපි අපේ අත්දැකීම මත පදනම් විය යුතුයි (ආනුභූතික) විය යුතුයි කියන පදන මත ඉදලා.

දිලාන් සබ්ස්ටන්ස් තියරි එකකට යන්නෙ නැතිනම් දිලාන්ටයි අපිටයි දාර්ශනිකව එකඟවෙන්න පුලුවන් තැන් බොහොමයක් හැදෙන්න පුලුවන් කියලා හිතනවා.

උබ ඔය දෙන ආර්ගියුමන්ට් එකක්වත් අලුත් දෙයක් නෙවෙයි. ඔය වගේම අනික් පැතිවලටත් ආගියුමන්ට් තියෙනව. මේක කියවල බලපන්කො වෙලාවක් තියෙනකොට.
https://iep.utm.edu/rene-descartes-mind-body-distinction-dualism/
මේකෙ කොටස් ටික ඔක්කොම කියවල ඉවර උනාම තේරෙනව ඔය ඔක්කොම ආර්ගියුමන්ට් හරිත් නෑ වැරදිත් නෑ කියල. හැම එකකම ලොකු බිග් ඉෆ් එකක් තියෙනව ඔය වගේ අන්තිමට.
මට අනුව නන් අපිට වඩාත්ම ලගින් යන එක තෝරගනෙ ඒකෙ ඉස්සරහට බලාගෙන යනව මිසක් මගේ එක තමා හරි එක අනික් ඒව වැරදියි කියන එක ඉවර කරන්න පුලුවන් ආර්ගියුමන්ට් එකක් නෙවෙයි.

---

එහෙම අදහසක් නෑ මොකද්ද කියලා බන්

ඔය කියන්නෙ මචන් එහෙම හැම එකම කලින් වෙලා තියෙනකොට ඒක නියතවාදයකට යනව කියල හිතාන තමා මේ පොර ටෙස්ට් එක කරල තියෙන්නෙ ML මොඩල් එකත් එක්ක ඒත් ඒක එහෙම වෙලා නෑ කියල.
------ Post added on Aug 5, 2023 at 8:47 AM

 

[NRTG]

TFS

 

[Solo Rider]

 

[EKGuest]

Bump. ඔය ගැන idea එකක් නැහැ.

 

[supun_sg]

තේරුණා වගේ ඉන්න ඕනි...

 

[Sx3]

Ane hukapan

 

[nipund]

chat gpt වල token එකෙන් activate වන nodes ගාන , server එකෙ available resource මත වෙනස්ව කියලා chatGPT කිව්වා .

As an individual instance of the AI model, I am designed to handle one conversation at a time. While I can provide responses to multiple users in a concurrent manner, each conversation is processed sequentially within the model. This means that I do not have the ability to contextually separate or differentiate between different ongoing conversations.

When interacting with multiple users, the responses may be provided in an interleaved manner, but there is no inherent awareness or memory of previous conversations once they have ended. Each user interaction is treated as an isolated prompt without knowledge of the conversations that occurred before or after it.

It's important to note that although I can handle multiple users concurrently, the quality and consistency of responses may be affected by the interleaving of conversations. Additionally, context from previous turns within the same conversation may be better understood and incorporated into subsequent responses.

 

[ek_rosh]

මොකද හිතෙන්නෙ,

මට මේකට @dilann @greenthunder @ek_rosh tag කරන්න බැරි උනා.

From what I understand/read; it is occurred at sequential level due to the Sparse MoE architecture issues running at batched levels.

OR

Chat GPT has become a sentient being.

 

[හෙළයෙක්]

From what I understand/read; it is occurred at sequential level due to the Sparse MoE architecture issues running at batched levels.

OR

Chat GPT has become a sentient being.

ඕකට ගෝල් ෆිශ් කෙනෙක්ගෙ ප්‍රමාණෙයේ බුද්ධියක් තියෙනව කියල තිබ්බ තව පේපර් එකක. ML අස්සෙ මොනව වෙනවද කියල තාම හරියට දන්නෙ නැති නිසා වෙනම දෙයක් වෙන්නත් පුලුවන්. කෝම කරත් Artificial general intelligence (AGI) වලට යන්න නන් පෙරදිග විද්‍යාවෙ උදව් ඕනි වෙනවම තමා. මනස කියන්නෙ මොකද්ද කියල තාම හරි ඩෙෆිනිශන් නැතුව AGI හදන්න යන එකම විහිලුවක්.

---

chat gpt වල token එකෙන් activate වන nodes ගාන , server එකෙ available resource මත වෙනස්ව කියලා chatGPT කිව්වා .

As an individual instance of the AI model, I am designed to handle one conversation at a time. While I can provide responses to multiple users in a concurrent manner, each conversation is processed sequentially within the model. This means that I do not have the ability to contextually separate or differentiate between different ongoing conversations.

When interacting with multiple users, the responses may be provided in an interleaved manner, but there is no inherent awareness or memory of previous conversations once they have ended. Each user interaction is treated as an isolated prompt without knowledge of the conversations that occurred before or after it.

It's important to note that although I can handle multiple users concurrently, the quality and consistency of responses may be affected by the interleaving of conversations. Additionally, context from previous turns within the same conversation may be better understood and incorporated into subsequent responses.

මෑත කාලෙයේ කරපු සෑහෙන ලොකු ඉනොවේශන් එකක් cloud computing පැත්තෙන් ඕක ට්‍රේනින් කරපු විදියයි අපිට ආන්සස් දෙන විදියයි.
------ Post added on Aug 7, 2023 at 9:25 AM

---

තේරුණා වගේ ඉන්න ඕනි...

මැශින් එක මැශින් එකක් වගේ වැඩ කරන්නෙ නැතුව ගිහින්. හරි නන් දෙන්න ඕනි උත්තරේ පැත්තක තියල වෙන වෙන උත්තර දීල කියල ඔය කියන්නෙ. ටෙක්නිකල් ඉශූ එකක් හෝ නැත්තන් ඌ හිතන්න පටන් අරන්.
------ Post added on Aug 7, 2023 at 9:26 AM

 

[MBKESCM]

bump

 

[Walter White]

Bumpi..

 

[kolavari]

සිරාවට.. මටත් ඕකම හිතුනා..,
.
.

තේරුණා වගේ ඉන්න ඕනේ

 

[RandomGuy]

Everything is deterministic. Including ourselves (our brains). Only the sophistication increases and things start to aopear non deterministic. A LLM cannot be non deterministic by its nature.

---

Chat GPT has become a sentient being.

Our brains are carbon based sophisticated circuits. We produce the exact same output for a given input and a particular internal state.
------ Post added on Aug 9, 2023 at 5:05 AM

 

[හෙළයෙක්]

Everything is deterministic. Including ourselves (our brains). Only the sophistication increases and things start to aopear non deterministic. A LLM cannot be non deterministic by its nature.

---

"Everything is deterministic." ඒක තවත් එක මතයක් විතරයි නෙ තාම. deterministic වෙනව කියන්නෙ හැම දේම වෙන්න තියෙන විදියට උනා කියන එකනෙ.

Our brains are carbon based sophisticated circuits. We produce the exact same output for a given input and a particular internal state.

පලවෙනි එක හරි දෙවනි එක එහෙම වෙනව කියන්න බෑනෙ එහෙම දෙයක් ගැන කරපු පරීක්ෂණ මොනව හරි තියෙනවද?