How many Rs are there in Strawberry? Claude Sonnet 3.5 vs ChatGPT 4o

[IndrajithGamage]

Strawberry 16 ක් තියෙන පැකට් එකක් රුපියල් 930 යි. එතකොට ගෙඩියක් 58.125 යි.

ඉතින් Strawberry ගෙඩියක Rs 58 ක් තියෙනවා.

මේ එ‍්ක නෙවෙයි, AI වලට තාමත් බැරි පට්ටම සරල දේවල්. මේ සීන් එක දැනගත්තට පස්සෙ ChatGPT එක ඕක බලෙන් හරි ගස්සල තියෙනවා, හැබැයි පොඩ්ඩක් වචනෙ වෙනස් කරපු ගමන් අතේ මාට්ටු.





හේතුව මේක(ලු).

 

[kukku baba]

https://www.facebook.com/share/r/7R8NoapvUc4xA8QA/

https://www.facebook.com/share/goS4QhfiT8FxThwP/

 

[olu bakka]

LLM එකක් වැඩ කරන හැටි දන්නවනන් ඇයි ඔහොම බැරි වෙන්නෙ කියල තේරෙනව

 

[IndrajithGamage]

LLM එකක් වැඩ කරන හැටි දන්නවනන් ඇයි ඔහොම බැරි වෙන්නෙ කියල තේරෙනව

කියහන්කො ඉතින් බලන්න? මේ ගෑනි කියන විදිහට token සීන් එකක් නම්, space තියල අපිට manually කඩලා token distribution එක වෙනස් කරල අවශ්‍ය උත්තරේ ගන්න පුළුවන් නම්, මේ වගේ ප්‍රශ්නයක් detect කරල එ‍් token distribution එක වැඩේට ගැළපෙන විදිහට කරල හරි උ‍ත්තරේ දෙන්න instruction එකක් නැත්තෙ අ‍ැයි?

උදාහරණයක් විදිහට අපි illegal දෙයක් අ‍ැහුවොත් එවෙලෙම එ‍්කට restrictions දාන්න instructions කොහොමත් තියෙනවනෙ. ඉතින් මේ වගේ සුළු දෙයක් බැරිද? කොටින්ම add spaces between each letter of the word කියල extra prompt එකක් දැම්මා නම්, දෙවිහෙන් එන උත්තර වෙනස්ද කියල බලලා වෙනස් නම් space කඩපු එක වඩාත් හරි වීමේ probability එක වැඩි නිසා එ‍්ක උත්තරය විදිහට දෙන්න හදල නැත්තෙ අ‍ැයි?

 

[AiLankan]

Instruction tuning doesn't work like that. One thing lacking in LLMs is called reasoning. But the community is catching up! Best example is open AI O1.


> උදාහරණයක් විදිහට අපි illegal දෙයක් අ‍ැහුවොත් එවෙලෙම එ‍්කට restrictions දාන්න instructions කොහොමත් තියෙනවනෙ. ඉතින් මේ වගේ සුළු දෙයක් බැරිද? කොටින්ම add spaces between each letter of the word කියල extra prompt එකක් දැම්මා නම්, දෙවිහෙන් එන උත්තර වෙනස්ද කියල බලලා වෙනස් නම් space කඩපු එක වඩාත් හරි වීමේ probability එක වැඩි නිසා එ‍්ක උත්තරය විදිහට දෙන්න හදල නැත්තෙ අ‍ැයි?

Usually, these kinds of reasoning questions are helpful for scientists to improve their systems, so it is a stupid thing to hardcode a solution. Even my research team tries hard to improve LLMs to reason.
Another thing is that open AI doesn't necessarily put restrictions on everything, and models are capable of not answering such questions. You can read about "Reinforcement Learning from Human Feedback"

 

[හෙළයෙක්]

කියහන්කො ඉතින් බලන්න? මේ ගෑනි කියන විදිහට token සීන් එකක් නම්, space තියල අපිට manually කඩලා token distribution එක වෙනස් කරල අවශ්‍ය උත්තරේ ගන්න පුළුවන් නම්, මේ වගේ ප්‍රශ්නයක් detect කරල එ‍් token distribution එක වැඩේට ගැළපෙන විදිහට කරල හරි උ‍ත්තරේ දෙන්න instruction එකක් නැත්තෙ අ‍ැයි?

උදාහරණයක් විදිහට අපි illegal දෙයක් අ‍ැහුවොත් එවෙලෙම එ‍්කට restrictions දාන්න instructions කොහොමත් තියෙනවනෙ. ඉතින් මේ වගේ සුළු දෙයක් බැරිද? කොටින්ම add spaces between each letter of the word කියල extra prompt එකක් දැම්මා නම්, දෙවිහෙන් එන උත්තර වෙනස්ද කියල බලලා වෙනස් නම් space කඩපු එක වඩාත් හරි වීමේ probability එක වැඩි නිසා එ‍්ක උත්තරය විදිහට දෙන්න හදල නැත්තෙ අ‍ැයි?

ඕක සුළු දෙයක් නොවන නිසා. අපේ මොළේ වැඩ කරන විදියටම නෙවෙයි chatgpt වැඩ කරන්නේ. අපි ක්‍රම දෙකකට දෙයක් process කරනවා එකක් logically හිතලා Answers දෙනවා අනික experience එකෙන්. ඕකෙන් chatgpt කරන්නේ තාම experience එකෙන් උත්තර දෙන එක. අපි අහන ඒවට Restrictions දාන්නේ original model එකට කලින්.

අලුත් මොඩල එකේ කරන්නේ ප්‍රශ්නය පොඩි පොඩි කෑලි වලට කඩාගෙන පියවර කීපයකට විසඳගන්න එක. එක logically හිතනවා වගේ උනාට එහෙම නෑ එකත් ආයේ by experience තමා.

 

[poopoo]

AI chatbot වලට අකුරු දාලා ගණන් කරේ 2023 මුල් කාලේ ඕවා ආපු දවස්වල
නොදකින් දැන් තමයි මේවා උස්සන් ඇවිත් කිරියේ දාන්නේ

 

[Soloprenuer]

මට පුලුවන් මේකට ඇඩ්මින් තුමා කැමති නම් .... බුදු බණ පදයක් සින්දුවා දාලා හදලා දෙන්න

 

[topkollek]

ChatGPT o1-preview

 

[IndrajithGamage]

Instruction tuning doesn't work like that. One thing lacking in LLMs is called reasoning. But the community is catching up! Best example is open AI O1.


> උදාහරණයක් විදිහට අපි illegal දෙයක් අ‍ැහුවොත් එවෙලෙම එ‍්කට restrictions දාන්න instructions කොහොමත් තියෙනවනෙ. ඉතින් මේ වගේ සුළු දෙයක් බැරිද? කොටින්ම add spaces between each letter of the word කියල extra prompt එකක් දැම්මා නම්, දෙවිහෙන් එන උත්තර වෙනස්ද කියල බලලා වෙනස් නම් space කඩපු එක වඩාත් හරි වීමේ probability එක වැඩි නිසා එ‍්ක උත්තරය විදිහට දෙන්න හදල නැත්තෙ අ‍ැයි?

Usually, these kinds of reasoning questions are helpful for scientists to improve their systems, so it is a stupid thing to hardcode a solution. Even my research team tries hard to improve LLMs to reason.
Another thing is that open AI doesn't necessarily put restrictions on everything, and models are capable of not answering such questions. You can read about "Reinforcement Learning from Human Feedback"

Well the improvement of systems doesn't seem to happen. Clearly this has been a known issue with their systems, long enough to get videos created on the topic, and multiple (easily thousands or even millions) of similar prompts being inserted, and at least a significant percentage of users reporting that the answer is wrong.

Maybe there's a more sophisticated solution, but there needs to be some checkback for accuracy right? For example, if you ask about some known figure who has just died, ChatGPT basically answers from a database of sorts, which hasn't yet been updated with that information, so wouldn't point that out. However, you can force it to go online and read recent news articles and pick it up, almost always by asking "Are you sure?".

In this case, instead of an online search, maybe such a call to reaffirm prompt after an obvious counting error like above could fall back to something like I said. If the easier way is to break up the word so that they get assigned to different tokens and if that provides accurate answers, can you explain to me why the immediate decision in the above example to search online and read most recent news articles can't be adapted to break down the word with spaces? This is not a hard coding as far as I can understand. It's just a method to reaffirm the accuracy of an answer, which at least in some aspects have already been built in.

 

[AiLankan]

Finding information is more closely related to retrieval augmentation, while reasoning is a separate challenge.

You're correct that changing prompts can solve some hard reasoning questions, and techniques like Reflection and Chain-of-Thought (CoT) prompting are already being used.

However, the real goal is to make models reason intuitively, like humans. For instance, a human would naturally know to count individual letters in your example.

Researchers are working hard on this through various approaches, including what's called "test-time optimization" of LLMs. Reasoning is currently one of the biggest focus areas in LLM research, and the community is making progress. For example, OpenAI's latest model shows a 30-40% improvement in PhD-level reasoning compared to its previous version. While current methods are helpful, the ultimate aim is to develop models with more fundamental reasoning abilities, which remains a complex but actively pursued challenge in AI research.


Anyway, I have been working with foundation models since 2017 (we used to call it the BERT era ) and my PhD was in domain adaptation of them. What I can see is that it's just a matter of time before we have to rethink coding. Sometimes I implement algorithms from super novel research papers which are just a day old by uploading the paper to ChatGPT and having a conversation. Even research is something that needs to be restructured, especially with papers like this from Sakana.ai https://sakana.ai/ai-scientist/