අපි සාමාන්යයෙන් මෙෂින් ගත්තොත් අවුරුදු 500කට විතර සමාන history එකක් අපේ අවුරුදු 50ක්60 ඇතුලත AI ගැන witness කරයි. මිනිස්සුන්ට adopt වෙන්න කාලය මදි නිසා මානසික ප්රශ්න ලෙඩ වගේ ඒව වැඩි වෙයි.
මොකවත් ලොකු වෙනසක් වෙන්නේ නෑ. තව accurate වෙයි උත්තර use කරන්න පුළුවන් areas වැඩි වෙයි. ඒ උනාට ඔය technology එකේ ලිමිට එක දැන් ඉවරයි. Use case තමා එන්න තියෙන්නේ
අපි මේ ඉන්නෙත් එහෙම දියුනු කරපු ඒ අයි රොබොට්ස් ල හදපු සිමියුලේශන් එහෙක නෙවේ කියල කියන්න ඔයා ලග තියන සාක්කි මොනාද...
දැනට එහෙම කරනවා. Expirence කරලා build වෙන knowledge එකක් නෙවෙයි නිසා ඒ ඉගෙන ගන්න ඒව concept assumption බේස් වෙලා හැදෙන්නේ. හැබැයි මිනිස්සුන්ට ලේසියි අලුත් ඒව එක්ක හිතන්න පුරුදු වෙන්න. අලුත් ක්රම එහෙම හිතන්න පැති එහෙම එළියට එනවා.
කිසිම සාක්ෂියක් නෑ. ඇත්තටම මම එහෙම දෙයක් ගැන හොයලා නෑ.
Transformer what?Training an AI takes three things:
- Compute (ie computing power, hardware, chips)
- Electricity (to power the compute)
- Training data
Compute
Compute is measured in floating point operations (FLOPs). GPT-3 took 10^23 FLOPs to train, and GPT-4 plausibly 10^25.
The capacity of all the computers in the world is about 10^21 FLOP/second, so they could train GPT-4 in 10^4 seconds (ie two hours). Since OpenAI has fewer than all the computers in the world, it took them six months. This suggests OpenAI was using about 1/2000th of all the computers in the world during that time.
Energy
GPT-4 took about 50 gigawatt-hours of energy to train. Using our scaling factor of 30x, we expect GPT-5 to need 1,500, GPT-6 to need 45,000, and GPT-7 to need 1.3 million
Training Data
This is the text or images or whatever that the AI reads to understand how its domain works. GPT-3 used 300 billion tokens. GPT-4 used 13 trillion tokens (another source says 6 trillion).
- GPT-5 might need about 1% the world’s computers, a small power plant’s worth of energy, and a lot of training data.
- GPT-6 might need about 10% of the world’s computers, a large power plant’s worth of energy, and more training data than exists. Probably this looks like a town-sized data center attached to a lot of solar panels or a nuclear reactor.
- GPT-7 might need all of the world’s computers, a gargantuan power plant beyond any that currently exist, and way more training data than exists. Probably this looks like a city-sized data center attached to a fusion plant.
- Building GPT-8 is currently impossible. Even if you solve synthetic data and fusion power, and you take over the whole semiconductor industry, you wouldn’t come close. Your only hope is that GPT-7 is superintelligent and helps you with this, either by telling you how to build AIs for cheap, or by growing the global economy so much that it can fund currently-impossible things.
GPT = Generative Pre-trained Transformer = කලින් පුහුනු කල තොරතුරු ඇසුරෙන් දෙයක් මනුස්සයෙක් කරන විදියත විස්තර කරන්න හදන එක වගේ තෙරුමක්
https://www.cnbc.com/2023/05/10/mic...er-from-sam-altman-backed-helion-in-2028.html
https://www.astralcodexten.com/p/sam-altman-wants-7-trillion
හරියට කියපන් මයිනව බේරගන්න වඳ බයියන්ට AI පාවිච්චි කරන්න වෙයිදඅහා වද රචනා බයියා
Ethakota machan eka GPT wena ekak na neda, wenamama traning model ekaka namai thamai danna wenneTransformer what?
Next gpt walata transformers ma use karanna ona kiyana assumptions ekka meka ok. Issarahata thawa neutral network architectures ewi. Me dawas wala mamba kiyala ekakata buzz ekak yanawa. Aluth ewa awama mechchara compute instance ona nehe. Anith eka nlp training walatama devices hadanna research yanawa ona tharam. Thaaa godak dewal wenas wei. Eka nisa gpt version wedi wenawa kiyanne parameters wedi wena eka nemei
------ Post added on Feb 14, 2024 at 10:20 AM
දැනටමත් එහමනේ වෙන්නේ මචන්. මේ දවස් ටිකේ බඩවැඩි කියලා බඩ අතගගා ඉදලා ෆෝන් එක ගත්තම බඩ අඩුකරන්න Ads පෙන්නවා
ඔව් terminator වගේ තුවක්කු පෙන්නලා නොකරට ඒව තමා අපිව control කරන්නේ මේ වෙනකොටත්.දැනටමත් එහමනේ වෙන්නේ මචන්. මේ දවස් ටිකේ බඩවැඩි කියලා බඩ අතගගා ඉදලා ෆෝන් එක ගත්තම බඩ අඩුකරන්න Ads පෙන්නවා
AI හින්දා jobs නැති වෙන එකක් නෑ නේ බන්.Training an AI takes three things:
- Compute (ie computing power, hardware, chips)
- Electricity (to power the compute)
- Training data
Compute
Compute is measured in floating point operations (FLOPs). GPT-3 took 10^23 FLOPs to train, and GPT-4 plausibly 10^25.
The capacity of all the computers in the world is about 10^21 FLOP/second, so they could train GPT-4 in 10^4 seconds (ie two hours). Since OpenAI has fewer than all the computers in the world, it took them six months. This suggests OpenAI was using about 1/2000th of all the computers in the world during that time.
Energy
GPT-4 took about 50 gigawatt-hours of energy to train. Using our scaling factor of 30x, we expect GPT-5 to need 1,500, GPT-6 to need 45,000, and GPT-7 to need 1.3 million
Training Data
This is the text or images or whatever that the AI reads to understand how its domain works. GPT-3 used 300 billion tokens. GPT-4 used 13 trillion tokens (another source says 6 trillion).
- GPT-5 might need about 1% the world’s computers, a small power plant’s worth of energy, and a lot of training data.
- GPT-6 might need about 10% of the world’s computers, a large power plant’s worth of energy, and more training data than exists. Probably this looks like a town-sized data center attached to a lot of solar panels or a nuclear reactor.
- GPT-7 might need all of the world’s computers, a gargantuan power plant beyond any that currently exist, and way more training data than exists. Probably this looks like a city-sized data center attached to a fusion plant.
- Building GPT-8 is currently impossible. Even if you solve synthetic data and fusion power, and you take over the whole semiconductor industry, you wouldn’t come close. Your only hope is that GPT-7 is superintelligent and helps you with this, either by telling you how to build AIs for cheap, or by growing the global economy so much that it can fund currently-impossible things.
GPT = Generative Pre-trained Transformer = කලින් පුහුනු කල තොරතුරු ඇසුරෙන් දෙයක් මනුස්සයෙක් කරන විදියත විස්තර කරන්න හදන එක වගේ තෙරුමක්
https://www.cnbc.com/2023/05/10/mic...er-from-sam-altman-backed-helion-in-2028.html
https://www.astralcodexten.com/p/sam-altman-wants-7-trillion
Post එක එඩිට් කරන්න අදත් රිදුනා නේද පොන්නයෝ
පොන්නයාට අම්මා මතක් වෙන්න ම ඌවා උනා කියන්නේ අදට හොඳටම ඇති වගේ
පොන්නයාට අම්මා මතක් වෙන්නම රිදිලා
අම්මා මතක් වෙන්න ම රිදුනා නේද පොන්නයාට
ඊයා පොන්නයයට අම්මා මතක් වෙන්නම හිකිලා අද
පොන්නයට අම්මා මතක් වෙන තරමටම රිදිලා
ඊයා පොන්නයාට අම්මා මතක් වෙන්නම රිදිලා
වැදුන සැරට
අයියෝ අම්මා තාත්තා මතක් වෙලා
පොන්නයා ට කියන්න දෙයක් නැතුව අම්මා තාත්තා මතක් වෙලා
