{"id":959,"date":"2022-06-29T13:43:48","date_gmt":"2022-06-29T10:43:48","guid":{"rendered":"https:\/\/fikirbilisim.com\/?p=959"},"modified":"2026-03-11T14:15:38","modified_gmt":"2026-03-11T11:15:38","slug":"robots-txt-nedir","status":"publish","type":"post","link":"https:\/\/roiux.com\/tr\/robots-txt-nedir\/","title":{"rendered":"Robots TXT Nedir? Nas\u0131l Kullan\u0131l\u0131r?"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Robots.txt; Arama motoru taray\u0131c\u0131lar\u0131n\u0131n Web sitesinin hangi URL\u2019leri tarayaca\u011f\u0131 veya taranmayaca\u011f\u0131 hakk\u0131nda bilgiler i\u00e7eren bir metin belgesidir. SEO i\u00e7in olduk\u00e7a b\u00fcy\u00fck bir \u00f6neme sahip olan Robts.txt dosyas\u0131; arama motoru botlar\u0131 bu dosyada belirtilen komutlara g\u00f6re hareket etti\u011fini belirtmek isterim. Belirtilen komutlar do\u011frultusunda taranabilir URL listesi olu\u015fturulur ve bu listeye uygun olarak dizine eklenir. <strong>Robots TXT Nedir? Nas\u0131l Kullan\u0131l\u0131r?<\/strong> ve Robots.txt dosyas\u0131 nas\u0131l olu\u015fturulur? Seo \u00e7al\u0131\u015fmalar\u0131nda robots.txt dosyas\u0131n\u0131n \u00f6nemi nedir? Robots.txt dosyas\u0131 nas\u0131l olmal\u0131d\u0131r? Sorular\u0131na cevap vermek istiyorum.<\/p>\n<p><a href=\"https:\/\/roiux.com\/hizmetler\/seo-uzmani\/\" target=\"_blank\" rel=\"noopener\"><strong>SEO uzman\u0131<\/strong><\/a>, web sitelerini arama motorlar\u0131nda daha iyi s\u0131ralamalara ta\u015f\u0131yan stratejiler geli\u015ftirebilir.<\/p>\n\n\n<p>[ez-toc]<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Robots TXT Dosyas\u0131 Ne \u0130\u015fe Yarar?<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">K\u0131sa tan\u0131m\u0131yla <strong>robots txt nedir <\/strong>sorusuna; bir web sitesinin hangi b\u00f6l\u00fcmlerinin taran\u0131p taranmayaca\u011f\u0131n\u0131 belirten bir metin dosyas\u0131 olarak belirttikten sonra bu dosyan\u0131n ne i\u015fe yarad\u0131\u011f\u0131ndan bahsetmek istiyorum. Robots.txt dosyas\u0131nda olu\u015fturdu\u011funuz komutlar do\u011frultusunda arama motoru robotlar\u0131n\u0131 tarama i\u015flemlerinde y\u00f6nlendirmi\u015f olursunuz. Haz\u0131rlanan bu dosya ana dizine eklenmek zorundad\u0131r. Web sitesinin URL uzant\u0131s\u0131n\u0131n sonuna \/robots.txt yazarak yay\u0131nlanan dosay\u0131 g\u00f6r\u00fcnt\u00fcleyebilirsiniz.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Web sunucular\u0131n\u0131n k\u00f6k dizinine eklenen robots.txt dosyas\u0131 haz\u0131rlamak i\u00e7in herhangi bir yaz\u0131l\u0131m veya programa ihtiyac\u0131n\u0131z yoktur. Basit bir metin dosyas\u0131 bu i\u015flemi ger\u00e7ekle\u015ftirmek i\u00e7in yeterlidir. Bu dosyay\u0131 haz\u0131rlamak i\u00e7in bilmeniz gereken ise; komut bile\u015fenlerinin neler oldu\u011fudur.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Robots TXT Dosyas\u0131 Nas\u0131l Olu\u015fturulur?<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Herhangi bir metin olu\u015fturma edit\u00f6r\u00fc ile kolayl\u0131kla olu\u015fturabilece\u011finiz robot.txt dosyas\u0131n\u0131; belirli protokol format\u0131yla direktifler vererek olu\u015fturabilirsiniz. Bu dosya i\u00e7in kullan\u0131lan protokoller Robots Exclusion Protocol olarak adland\u0131r\u0131lmaktad\u0131r. Robots TXT Dosyas\u0131 Nas\u0131l Olu\u015fturulur? sorusuna 3 ana ba\u015fl\u0131k alt\u0131nda cevap vermek gerekir. Grup i\u00e7i komutlar, Grup d\u0131\u015f\u0131 komutlar, Notlar ve Yorumlardan olu\u015fmaktad\u0131r. Belirtti\u011fimiz bu komut y\u00f6ntemleri ile olu\u015fturulan robots.txt dosyas\u0131n\u0131 web sitesinin;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Hangi b\u00f6l\u00fcmlerinin dizine eklenece\u011fi<\/li>\n<li>Hangi b\u00f6l\u00fcmlerin dizine eklenmeyece\u011fi<\/li>\n<li>Arama motorlar\u0131 taraf\u0131ndan dizinin taran\u0131p taranmayaca\u011f\u0131<\/li>\n<li>Hangi arama motorunun izni olup olmad\u0131\u011f\u0131 belirlenir.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Yukar\u0131da belirtti\u011fimiz izinlerin veya tarama engellerinin belirli bir d\u00fczen ve standartta metin belgesi olarak d\u00fczenlenmesi gerekmektedir. Bununla birlikte;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Robots.txt dosyas\u0131n\u0131n web sitesinin k\u00f6k dizinine y\u00fcklenmi\u015f olmas\u0131<\/li>\n<li>Dosyan\u0131n UTF-8 karakter kodlamas\u0131na uygun olmas\u0131<\/li>\n<li>Haz\u0131rlanan dosyan\u0131n web sitenin URL\u2019siyle ayn\u0131 formatta olmas\u0131 gerekmektedir.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Robots TXT Nedir SEO<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Robots TXT Nedir<\/strong>? Nas\u0131l Kullan\u0131l\u0131r? Sorusunun yan\u0131nda bu dosyan\u0131n SEO ile ba\u011flant\u0131s\u0131ndan bahsetmeden ge\u00e7emeyiz. \u00d6zellikle teknik seo \u00e7al\u0131\u015fmalar\u0131nda robots.txt dosyas\u0131n\u0131n b\u00fcy\u00fck bir \u00f6nemi bulunmaktad\u0131r. Bu dosyan\u0131n seo kurallar\u0131na uygun bir \u015fekilde optimize edilmesi ve do\u011fru yap\u0131land\u0131r\u0131lm\u0131\u015f olmas\u0131 gerekir. Web sitenizin arama motorlar\u0131 taraf\u0131ndan eri\u015febilmesi ve istenilen dosalar\u0131n dizine eklenmesi ad\u0131na dosyan\u0131n do\u011fru d\u00fczenlenmesi gerekir. SEO ajans\u0131 \u00e7al\u0131\u015fmalar\u0131 ad\u0131na bir robots.txt dosyas\u0131n\u0131n nas\u0131l optimize edilmesi gerekti\u011fi ile ilgili bir ka\u00e7 \u00f6nemli bilgiyi sizlerle payla\u015fmak istiyorum.\u00a0<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>CSS ve JS klas\u00f6rlerini engellemedi\u011finizden emin olun<\/li>\n<li>WordPress kullan\u0131c\u0131s\u0131ysan\u0131z wp-admin klas\u00f6r\u00fcn\u00fc engellemeyin<\/li>\n<li>T\u00fcm arama motorlar\u0131 i\u00e7in tek bir kural (user-agent:*) tercih edin<\/li>\n<li>Tek bir sayfan\u0131n arama motorlar\u0131 taraf\u0131ndan dizine engellenmesini istiyorsan\u0131z robots.txt kullanmay\u0131n<\/li>\n<li>Haz\u0131rlad\u0131\u011f\u0131n\u0131z dosyay\u0131 test etmeden yay\u0131nlamay\u0131n<\/li>\n<li>Robots.txt dosyas\u0131n\u0131n bir kere olu\u015fturman\u0131z yeterli olacakt\u0131r<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Arama motorlar\u0131 listesinde ilk s\u0131ralarda yer almak ad\u0131na yap\u0131lan SEO \u00e7al\u0131\u015fmalar\u0131nda bu dosyan\u0131n \u00f6nemi olduk\u00e7a b\u00fcy\u00fckt\u00fcr. Sitenin verimli bir \u015fekilde taranmas\u0131 ve dizine eklenmesi ad\u0131na hayati rol \u00fcstlenir. Bu sebeple do\u011fru direktiflerle haz\u0131rlanm\u0131\u015f bir robots.txt dosyas\u0131 sayesinde sitenizin daha \u00f6nemli sayfalar\u0131n\u0131n daha s\u0131k taranmas\u0131n\u0131 sa\u011flayabilirsiniz.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Robots TXT Dosyas\u0131 Nas\u0131l Olmal\u0131?<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Arama motoru robotlar\u0131na belirli kurallarla verilen dizine ekleme veya eklememe talimatlar\u0131 robots.txt dosya komutlar\u0131 ile ger\u00e7ekle\u015fmektedir. Grup komutlar\u0131 olarak bilenen bu komutlar sayesinde: arama motoru robotu engelleme\/izin verme. Dizine ekleme\/ izin verme. Sayfa engelleme \/ izin verme ve Tarama gecikmesi belirtmede kullan\u0131l\u0131r. Basit bir d\u00fczeyde haz\u0131rlanan bir robots.txt dosyas\u0131nda 2 ana anahtar kelime bulundu\u011funu belirtmek isterim. Bu anahtar kelimeler; User-agent ve Disallow dur.\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>User-agent:<\/strong> Web taray\u0131c\u0131 listesinin belirtilmesidir. Haz\u0131rlanan dosyan\u0131n ilk kural\u0131d\u0131r. Arama motorlar\u0131n\u0131n tamam\u0131n\u0131 listelemek i\u00e7in ise (*) kullan\u0131l\u0131r.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Disallow: <\/strong>Taranmas\u0131n\u0131 istemedi\u011fimiz k\u00f6k alan bilgisidir. \/ karakteriyle ba\u015flar ve \u00f6zellikle bir dizini i\u015faret ediyorsa sonu tekrar ayn\u0131 karakterle bitirilir.\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Yukar\u0131da belirtti\u011fimiz Robots TXT Nedir? Nas\u0131l Kullan\u0131l\u0131r? sorusuna verdi\u011fimiz cevaplardan sonra bu alanda haz\u0131rlanan bir ka\u00e7 robots.txt dosyas\u0131ndan \u00f6rnek vererek ne anlama geldi\u011fini sizlerle payla\u015fmak istiyorum.\u00a0<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>User-agent: *<\/strong><\/li>\n<li><strong>Allow: \/<\/strong><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent, arama botlar\u0131n\u0131n isimleri gelecek olan yere (*) i\u015fareti konularak t\u00fcm arama botlar\u0131n\u0131n \u00f6n\u00fc a\u00e7\u0131lm\u0131\u015ft\u0131r. Bu kodla t\u00fcm arama motorlar\u0131n\u0131n indekslemesinin \u00f6n\u00fc a\u00e7\u0131lm\u0131\u015ft\u0131r.\u00a0<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>User-agent: *<\/strong><\/li>\n<li><strong>Disallow: \/<\/strong><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent b\u00f6l\u00fcm\u00fc yine ayn\u0131 \u015fekilde t\u00fcm arama motorlar\u0131na izin vermi\u015f olsa da Disallow sat\u0131r\u0131na ( \/ ) karakteri eklendi\u011finden dolay\u0131 t\u00fcm dosyalar\u0131n taranmas\u0131 engellenmi\u015ftir.\u00a0<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>User-agent: *<\/strong><\/li>\n<li><strong>Disallow: \/images\/<\/strong><\/li>\n<li><strong>Disallow: \/tmp\/<\/strong><\/li>\n<li><strong>Disallow: \/private\/<\/strong><\/li>\n<li><strong>Disallow: \/cgi-bin\/<\/strong><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Yukar\u0131da belirtilen robots.txt dosyas\u0131ndaki komutlar soncunda belirtilen 4 dosyan\u0131n disallow ile indekslenmesi engellenmi\u015ftir.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Robots.txt Nerede Yer Al\u0131r?<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Arama motorlar\u0131n\u0131n sitenizi ziyaret etti\u011finde hangi sayfalar\u0131 taramas\u0131 veya indekslemesi gerekti\u011fini komutlarla belirledi\u011finiz robots.txt dosyas\u0131n\u0131, wordpress web sitelerinde farkl\u0131 eklentilerle olu\u015fturman\u0131z m\u00fcmk\u00fcn. Bu eklentilerin ba\u015f\u0131nda yoast seo ve all in one seo gelmektedir. Bu eklentilerin SEO ara\u00e7lar b\u00f6l\u00fcm\u00fcnden dosya d\u00fczenleyici sayfas\u0131ndan <strong>Create robots.txt file<\/strong> sekmesine t\u0131klayarak dosya olu\u015fturmaya ba\u015flayabilirsiniz. \u0130ster belirtti\u011fimiz bu iki eklenti sayesinde isterseniz kendiniz bir metin d\u00fczenleme belgesi kullanarak kendi robots.txt dosyan\u0131z\u0131 olu\u015fturabilirsiniz. Bu konuda dikkat etmeniz gereken metin belgesinin ad\u0131n\u0131n da robots.txt olmas\u0131d\u0131r.\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Haz\u0131rlanan bu dosyan\u0131n site dizinine eklenmesi gerekmektedir. Bu da olduk\u00e7a basit bir i\u015ftir. Tek yapman\u0131z gereken haz\u0131rlanan dosyay\u0131 site dizininin public_html klas\u00f6r\u00fcne kopyalanmakt\u0131r. Bundan sonra yapman\u0131z gereken haz\u0131rlanan ve y\u00fcklenen bu dosyay\u0131 test etmek olacakt\u0131r..\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/search.google.com\/search-console\/welcome\" data-type=\"URL\" data-id=\"https:\/\/search.google.com\/search-console\/\" target=\"_blank\" rel=\"noopener\">Google search console<\/a> \u00fczerinden yay\u0131nlanan robots.txt dosyas\u0131n\u0131n kontrol\u00fcn\u00fc yapabilirsiniz. Robots,txt test arac\u0131n\u0131n sa\u011f alt k\u0131sm\u0131nda bulunan test et butonuna t\u0131klayarak testi ba\u015flat\u0131n. Daha sonra ekran\u0131n sa\u011f \u00fcst k\u0131sm\u0131nda bulunan yay\u0131nlanan robots.txt dosyas\u0131n\u0131 g\u00f6r\u00fcnt\u00fcle sekmesine t\u0131klay\u0131n. \u00c7\u0131kan ekrandan yay\u0131nlad\u0131\u011f\u0131n\u0131z bu dosyan\u0131n i\u00e7eri\u011fini kontrol edebilirsiniz.\u00a0<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Robots.txt; Arama motoru taray\u0131c\u0131lar\u0131n\u0131n Web sitesinin hangi URL\u2019leri tarayaca\u011f\u0131 veya taranmayaca\u011f\u0131 hakk\u0131nda bilgiler i\u00e7eren bir metin belgesidir. SEO i\u00e7in olduk\u00e7a b\u00fcy\u00fck bir \u00f6neme sahip olan Robts.txt dosyas\u0131; arama motoru botlar\u0131 bu dosyada belirtilen komutlara g\u00f6re hareket etti\u011fini belirtmek isterim. Belirtilen komutlar do\u011frultusunda taranabilir URL listesi olu\u015fturulur ve bu listeye uygun olarak dizine eklenir. Robots TXT [&hellip;]<\/p>\n","protected":false},"author":5,"featured_media":960,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[34],"tags":[],"class_list":["post-959","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"_links":{"self":[{"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/posts\/959","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/comments?post=959"}],"version-history":[{"count":0,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/posts\/959\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/media\/960"}],"wp:attachment":[{"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/media?parent=959"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/categories?post=959"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/roiux.com\/tr\/wp-json\/wp\/v2\/tags?post=959"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}