මොකක්ද මේ robots.txt කියන්නේ?-must read
ඔන්න ටික දවසකට පස්සේ දිග ලිපියකි අරන අවා. බම්ප් ,රෙප් කොමෙන්ට් බාරගනු ලැබේ.
ගීක් අඩවියේ එක මිතුරෙක් මේ ප්රශ්නය අහලා තිබුනා,එතනදි මට හිතුනා ගොඩක අපේ අය මේ ගැන දන්නවා,භාවිතා කරනවා අඩුයි කියලා.ඔන්න ඔය ගැනත් ලියනවා අද.
මොකක්ද මේ robots.txt කියන්නේ?
robots.txt කියන්නේ ඉතා කුඩා ෆයිල් එකක්,යම්කිසි සරල විදාන කිහිපයක් සහිත.robots.txt කියන නමින්ම මෙක තියෙන්නනත් ඔන.මේ ගොනුව වෙබ් අඩවි වල බාවිතා වෙනවා.
තේරෙන භාශාවෙන් කිව්වොත්?
හරි මුල ඉදන් බලමු.හිතන්න අපේ ඔන අලකලන්චියකට සහයට එන ගූගල් (google,com) දෙයිය ගැන.අනතර්ජන්ජාලේ තියෙන හැම කුනු කන්දරවම එකේ අනුගත කරලා තියෙනවා.Index කරලා තියෙනවා.කොහොමද මෙක සිද්ද වෙන්නේ?
ගූගල් හෝ වේවා,වෙන ඔනම සෙවුම් යන්ත්රයක් වෙවා ඔවුන් ලග අදාල විශයන්ට අදාලව වෙබ් පිටු ගබඩාවක් තියා ගන්නවා.මුල් දවස් වල මේ තොරතුරු ගබඩාව අප්ඩේට් කලේ මිනිසුන් විසින් මැනුවලි.නමුත් ලොක ව්යාප්ත ජාලයේ(world wide web) සීග්ර නැගීමත් සමග දෛනිකව කෝටි ගනනින් අලුතින් වෙබ් පිටු අන්තර්ජන්ජාලෙට එකතු වෙන නිසා මෙක ස්වයන්ක්රීය ක්රම පිලිවෙලක් හැදුවා(නමුත් සමහර සෙවුම් යන්ත්ර manual ක්රම බාවිතා කරනවා තවම,ගූගල් පවා සමහර අන්ශ වලදි ).සෙවුම් යන්ත්ර වල තියෙනවා web crawler කියලා පරිගනක වැඩසටහනක්.මෙක හරියට වැඩ කරන්නේ රොබෝ කෙනෙක් වගේ.මෙක මගින් කරන්නේ සෙවුම් යන්ත්රයට දැනුවත් කල,නොකල වෙබ් අඩවි වලට ගිහින් ඒ අදාල වෙබ් අඩවියේ සැම පිටුවකටම ගිහින් තමන්ට අවශ්ය ඔනම දෙයක් එයගේ තොරතුරු ගබඩාවට දාගන්නවා.
මෙතනදි වෙබ් අඩවි පාලනය කරන අපිට ලොකු කරදරයක් වෙනවා.මොකද අපේ අඩවියේ පාඨකයන්ට පෙන්වන්න අවශ්ය නොවන වෙබ් පිටු ,ගොනු,ෆයිල් ,දත්ත,ඉමේජ අදියත් මෙයා රින්ගලා තමන්ගේ දත්ත ගබඩාවට දාගන්නවා.එතකොට ලොකේ ඉන්න ඔනම කෙනෙකුට අදාල සෙවුම් යන්ත්රයේ සෙවුමක් දාලා ඔයාගේ ඒ පිටු වලටත් එන්න පුලුවන් වෙනවා.
උදාහරනයක් වශයෙන් ඔබේ වෙබ් අඩවියේ ඇඩ්මින් ලොගින් පේජ් එක ඔබ පමනක් නම් පාවිච්චි කරන්නේ, එහි ලිපිනය අනිත් අය අතට යැම අවශ්ය නැ,ආරකශාකාරි නැ.නමුත් එක ඒ පිටුවත් තමන්ගේ සෙවුම් ප්රතිපල වලට දාල නම් තියෙන්නේ ඔන කෙනෙකුට ඔය පිටුව ගැන දැන ගන්න පුලුවන්.
සාමාන්යයෙන් හැකර් කෙනෙක් කනාශොට් වලින් හැක් අකරන්න සයිට් හොයනවා.හිතන්න මන් SQL Injection එකක් දාන්න Vulnerable සයිට් එකක් හොයනවා.එතකොට මන් කරන්නේ ගූගල් එකට ගිහින් මේ වගේ සෙවුමක් දානවා.
” Inurl:admin.php “
මෙතනදි වෙන්නේ මන් ගූග්ල් අයියට කියනවා ලොකේ තියන සයිට් වලින් admin.php කියලා පිටුවක් තියෙන සියලුම වෙබ් අඩවි මට පෙන්නන්න කියලා.එතකොට ඔයාගේ සයිට් එකේ අදාල පිටුවක් තිබිලා එක ගූග්ල් එකේ තියෙනවා නම් මන් ඔයාගේ සයිට් එකටත් අවිත් ගේමක් දෙන්න පුලුවන්ද කියලා චෙcක් කරලා බලනවා.ඉල්ලන් තොප්පියක් දාගත්තා වගේ වැඩක් මෙක.
මෙන්න මෙතනදි robots.txt එක අපිට සහනයක් ගෙනත් දෙනවා.
robots.txt ෆයිල් එක මගින් කරන්නේ මේ අනන් මනන් කුනු කන්දල් හොයාගෙන එන මේ web crawler එකට යන්න ඔන තැන් මොනවද නොයන්න ඔන තැන් මොනවද කියලා විදාන දෙන්න අපිට මේ ෆයිල් එකෙන් පුලුන්වන්
robots.txt ෆයිල් එක අනිවර්යයෙන්ම කියන robots නමින්ම ටෙක්ස්ට් ෆයිල් ෆොර්මට්(.txt) එකෙන්ම තියෙන්න ඔන.ඉට අමතරව වෙබ් අඩවිය තියෙන රූට් ෆොල්ඩෙර් එකේම මේ ෆයිල් එකක් තියෙන්න ඔන ඒ කියන්නේ ඔනම සයිට් එකෙක ලින්ක් එක මෙ විදියට ගැහුවම ” www.yourdomain.com/robots.txt” ෆයිල් එකට ඇක්සස් කරන්න පුලුවන් වෙන්න ඔන.
robots.txt එකක් හදන එක එච්චර ගේමක් නැති වැඩක්.මොකද එකට ලොකු programming දැනුමක් අවශ්ය වෙනෙනේ නැ.වෙන සයිට් එකක robots.txt ෆයිල් එක බලල ඔයාට උනත් තමන්ගේ සයිට් එකට එකක් හදාගන්න පුලුවන්.උදාහරනයක් වශයෙනපි ගමු ෆේස්බුක් එකේ robots.txt ෆයිල් එක.
එක බලන්න මේ ලින්ක් එකට යන්න www.facebook.com/robots.txt
ඒ ෆයිල් එකේ උඩින්ම තියෙන්නේ කොමෙන්ටු ඒවා තියෙන්නේ web crawler ට කියවන්න නෙමේ මිනිස්සුන්ට කිය්වන්න,# මර්ක් එක දාලා ඔයටත් කොමෙන්ටුවක් දන්න පුලුවන්.
# Notice: if you would like to crawl Facebook you can
# contact us here: http://www.facebook.com/apps/site_scraping_tos.php # to apply for white listing. Our general terms are available
# at http://www.facebook.com/apps/site_scraping_tos_terms.php
web crawler ගෙන් web crawler ට නමක් දිලා තියෙනවා එක තමයි " User-agent: Googlebot " කියන්නේ.ඔයලට කැමති නම් එකින් එක් නම් කරල ඔය වගේ දාන්න පුලුවන් නැත්තම් ඔක්කොම ලට එකක් දන්න පුලුවන්.(තෙරුනනේ)
allow කියන්නේ මේ පිටුවට යන්න , disallow කියන්නේ යන්න් එපා,(පිටු පමනක් නොවේ,ඩිරෙක්ටර්ය් ඔනම ෆයිල් එකෙකට )
මෙක හදලා දැම්ම පමනින් වැඩේ ඉවරයි,දැන් ඉතින් ලොකේ මොකෙක්ටවත් මගේ සයිට් එකට ගේමක් දෙන්න බැ කියලා හිතන්න එපා.මොකද robots.txt ෆයිල් එක කගේන් වත් හන්ගල තියෙන එකක් නෙමේ,ඔන කෙනෙකුට වෙබ් බ්රව්සර් එකෙන් ඔක බලන්න පුලුවන්,එකෙන් ඔයා යනවට අකමති වෙබ් පිටු මොනවද කියලා ඔන කෙනෙක්ට බලන්න පුලුවන්.එක නිසා අනිත් ආරක්ශක උපක්රම ඒ විදියටම කරන්න ඔන.
එකෙන් ප්රදාන වශයෙන් කරන්නේ කනාපල්ලෙන් එන ඇටැක් නවත්වන එක,රහසිගත ෆයිල් අනිත් අය තට යන එක යම් තාක් දුරට සීම කරන එක සහ SEO වලට යම් දුරකට සහය වෙන එක තමයි.
පෞද්ගලිකව මන් කවදාවත් මගේ සයිට් එකකට robots.txt බාවිතා කරන්න්නේ නැ.එච්චරයි.
එහෙනම් අදට කෙටුවා ඇති.ඇගිලිත් රිදෙනවා.මන් ගියා,
රශොද්…
source -
ඔන්න ටික දවසකට පස්සේ දිග ලිපියකි අරන අවා. බම්ප් ,රෙප් කොමෙන්ට් බාරගනු ලැබේ.
ගීක් අඩවියේ එක මිතුරෙක් මේ ප්රශ්නය අහලා තිබුනා,එතනදි මට හිතුනා ගොඩක අපේ අය මේ ගැන දන්නවා,භාවිතා කරනවා අඩුයි කියලා.ඔන්න ඔය ගැනත් ලියනවා අද.
මොකක්ද මේ robots.txt කියන්නේ?
robots.txt කියන්නේ ඉතා කුඩා ෆයිල් එකක්,යම්කිසි සරල විදාන කිහිපයක් සහිත.robots.txt කියන නමින්ම මෙක තියෙන්නනත් ඔන.මේ ගොනුව වෙබ් අඩවි වල බාවිතා වෙනවා.
තේරෙන භාශාවෙන් කිව්වොත්?
හරි මුල ඉදන් බලමු.හිතන්න අපේ ඔන අලකලන්චියකට සහයට එන ගූගල් (google,com) දෙයිය ගැන.අනතර්ජන්ජාලේ තියෙන හැම කුනු කන්දරවම එකේ අනුගත කරලා තියෙනවා.Index කරලා තියෙනවා.කොහොමද මෙක සිද්ද වෙන්නේ?
ගූගල් හෝ වේවා,වෙන ඔනම සෙවුම් යන්ත්රයක් වෙවා ඔවුන් ලග අදාල විශයන්ට අදාලව වෙබ් පිටු ගබඩාවක් තියා ගන්නවා.මුල් දවස් වල මේ තොරතුරු ගබඩාව අප්ඩේට් කලේ මිනිසුන් විසින් මැනුවලි.නමුත් ලොක ව්යාප්ත ජාලයේ(world wide web) සීග්ර නැගීමත් සමග දෛනිකව කෝටි ගනනින් අලුතින් වෙබ් පිටු අන්තර්ජන්ජාලෙට එකතු වෙන නිසා මෙක ස්වයන්ක්රීය ක්රම පිලිවෙලක් හැදුවා(නමුත් සමහර සෙවුම් යන්ත්ර manual ක්රම බාවිතා කරනවා තවම,ගූගල් පවා සමහර අන්ශ වලදි ).සෙවුම් යන්ත්ර වල තියෙනවා web crawler කියලා පරිගනක වැඩසටහනක්.මෙක හරියට වැඩ කරන්නේ රොබෝ කෙනෙක් වගේ.මෙක මගින් කරන්නේ සෙවුම් යන්ත්රයට දැනුවත් කල,නොකල වෙබ් අඩවි වලට ගිහින් ඒ අදාල වෙබ් අඩවියේ සැම පිටුවකටම ගිහින් තමන්ට අවශ්ය ඔනම දෙයක් එයගේ තොරතුරු ගබඩාවට දාගන්නවා.
මෙතනදි වෙබ් අඩවි පාලනය කරන අපිට ලොකු කරදරයක් වෙනවා.මොකද අපේ අඩවියේ පාඨකයන්ට පෙන්වන්න අවශ්ය නොවන වෙබ් පිටු ,ගොනු,ෆයිල් ,දත්ත,ඉමේජ අදියත් මෙයා රින්ගලා තමන්ගේ දත්ත ගබඩාවට දාගන්නවා.එතකොට ලොකේ ඉන්න ඔනම කෙනෙකුට අදාල සෙවුම් යන්ත්රයේ සෙවුමක් දාලා ඔයාගේ ඒ පිටු වලටත් එන්න පුලුවන් වෙනවා.
උදාහරනයක් වශයෙන් ඔබේ වෙබ් අඩවියේ ඇඩ්මින් ලොගින් පේජ් එක ඔබ පමනක් නම් පාවිච්චි කරන්නේ, එහි ලිපිනය අනිත් අය අතට යැම අවශ්ය නැ,ආරකශාකාරි නැ.නමුත් එක ඒ පිටුවත් තමන්ගේ සෙවුම් ප්රතිපල වලට දාල නම් තියෙන්නේ ඔන කෙනෙකුට ඔය පිටුව ගැන දැන ගන්න පුලුවන්.
සාමාන්යයෙන් හැකර් කෙනෙක් කනාශොට් වලින් හැක් අකරන්න සයිට් හොයනවා.හිතන්න මන් SQL Injection එකක් දාන්න Vulnerable සයිට් එකක් හොයනවා.එතකොට මන් කරන්නේ ගූගල් එකට ගිහින් මේ වගේ සෙවුමක් දානවා.
” Inurl:admin.php “
මෙතනදි වෙන්නේ මන් ගූග්ල් අයියට කියනවා ලොකේ තියන සයිට් වලින් admin.php කියලා පිටුවක් තියෙන සියලුම වෙබ් අඩවි මට පෙන්නන්න කියලා.එතකොට ඔයාගේ සයිට් එකේ අදාල පිටුවක් තිබිලා එක ගූග්ල් එකේ තියෙනවා නම් මන් ඔයාගේ සයිට් එකටත් අවිත් ගේමක් දෙන්න පුලුවන්ද කියලා චෙcක් කරලා බලනවා.ඉල්ලන් තොප්පියක් දාගත්තා වගේ වැඩක් මෙක.
මෙන්න මෙතනදි robots.txt එක අපිට සහනයක් ගෙනත් දෙනවා.
robots.txt ෆයිල් එක මගින් කරන්නේ මේ අනන් මනන් කුනු කන්දල් හොයාගෙන එන මේ web crawler එකට යන්න ඔන තැන් මොනවද නොයන්න ඔන තැන් මොනවද කියලා විදාන දෙන්න අපිට මේ ෆයිල් එකෙන් පුලුන්වන්
robots.txt ෆයිල් එක අනිවර්යයෙන්ම කියන robots නමින්ම ටෙක්ස්ට් ෆයිල් ෆොර්මට්(.txt) එකෙන්ම තියෙන්න ඔන.ඉට අමතරව වෙබ් අඩවිය තියෙන රූට් ෆොල්ඩෙර් එකේම මේ ෆයිල් එකක් තියෙන්න ඔන ඒ කියන්නේ ඔනම සයිට් එකෙක ලින්ක් එක මෙ විදියට ගැහුවම ” www.yourdomain.com/robots.txt” ෆයිල් එකට ඇක්සස් කරන්න පුලුවන් වෙන්න ඔන.
robots.txt එකක් හදන එක එච්චර ගේමක් නැති වැඩක්.මොකද එකට ලොකු programming දැනුමක් අවශ්ය වෙනෙනේ නැ.වෙන සයිට් එකක robots.txt ෆයිල් එක බලල ඔයාට උනත් තමන්ගේ සයිට් එකට එකක් හදාගන්න පුලුවන්.උදාහරනයක් වශයෙනපි ගමු ෆේස්බුක් එකේ robots.txt ෆයිල් එක.
එක බලන්න මේ ලින්ක් එකට යන්න www.facebook.com/robots.txt
ඒ ෆයිල් එකේ උඩින්ම තියෙන්නේ කොමෙන්ටු ඒවා තියෙන්නේ web crawler ට කියවන්න නෙමේ මිනිස්සුන්ට කිය්වන්න,# මර්ක් එක දාලා ඔයටත් කොමෙන්ටුවක් දන්න පුලුවන්.
# Notice: if you would like to crawl Facebook you can
# contact us here: http://www.facebook.com/apps/site_scraping_tos.php # to apply for white listing. Our general terms are available
# at http://www.facebook.com/apps/site_scraping_tos_terms.php
web crawler ගෙන් web crawler ට නමක් දිලා තියෙනවා එක තමයි " User-agent: Googlebot " කියන්නේ.ඔයලට කැමති නම් එකින් එක් නම් කරල ඔය වගේ දාන්න පුලුවන් නැත්තම් ඔක්කොම ලට එකක් දන්න පුලුවන්.(තෙරුනනේ)
allow කියන්නේ මේ පිටුවට යන්න , disallow කියන්නේ යන්න් එපා,(පිටු පමනක් නොවේ,ඩිරෙක්ටර්ය් ඔනම ෆයිල් එකෙකට )
මෙක හදලා දැම්ම පමනින් වැඩේ ඉවරයි,දැන් ඉතින් ලොකේ මොකෙක්ටවත් මගේ සයිට් එකට ගේමක් දෙන්න බැ කියලා හිතන්න එපා.මොකද robots.txt ෆයිල් එක කගේන් වත් හන්ගල තියෙන එකක් නෙමේ,ඔන කෙනෙකුට වෙබ් බ්රව්සර් එකෙන් ඔක බලන්න පුලුවන්,එකෙන් ඔයා යනවට අකමති වෙබ් පිටු මොනවද කියලා ඔන කෙනෙක්ට බලන්න පුලුවන්.එක නිසා අනිත් ආරක්ශක උපක්රම ඒ විදියටම කරන්න ඔන.
එකෙන් ප්රදාන වශයෙන් කරන්නේ කනාපල්ලෙන් එන ඇටැක් නවත්වන එක,රහසිගත ෆයිල් අනිත් අය තට යන එක යම් තාක් දුරට සීම කරන එක සහ SEO වලට යම් දුරකට සහය වෙන එක තමයි.
පෞද්ගලිකව මන් කවදාවත් මගේ සයිට් එකකට robots.txt බාවිතා කරන්න්නේ නැ.එච්චරයි.
එහෙනම් අදට කෙටුවා ඇති.ඇගිලිත් රිදෙනවා.මන් ගියා,
රශොද්…
source -
