とは...「ミイラ取りがミイラに．．．」に対する注意だと思います。
クローラはかなり攻撃的なソフトウェアです、何故なら「勝手に他人のページを解析する」わけですから、一般社会では「犯罪」と言うか「強盗」と言うか（笑;
そこで少し遠慮と言う言葉を学習させる必要がありました。

つまり、このフォルダ以下全てはクローラ様お断り！とか、このページはクローラ様お断り！など、自らの意思で申し出ることができます。
早い話、Googleに登録されたくないページがあったら「そう言ってください」と言うことです。

このクローラに対する貼り紙（お断りなのかOKなのか）が「robots.txt」と言うテキストファイルで、その中に決められた書式で記述します。
robots.txtは排他的に使われますので、もしrobots.txtがそのフォルダ内に無ければ「どうぞご自由にクロールしてください」と言うことになります。
もし、robots.txtが存在すれば、Googleクローラは指示に従って「おっとイケナイ、ここはお断りか」って感じでしょうか。

そもそもrobots.txtなんか何にもしなければ素直に受け入れていたものの、変に作って制御してやろう！って、記述を間違って「ボケツ」（この場合、登録して欲しいページまでお断り設定）ってことの無いよう頼みますわ！って。（それで登録されないんですが...って言わないで!!って???）
たぶんそんな意味が込められているのでは、と勝手ながら思っています。

ちなみに拒否する方法として、METAタグに直接記述する方法（この場合はページ単位）などもあります。

それから．．．もう一つ、ついでネタで。
robots.txtはシンプルテキストですから、適当にhttp://www.ドメイン/robots.txt なんてアクセスすると、「ダラ〜〜〜」って見える場合があります。
上述の通り、本来、登録されたく無いから記述する趣旨のモノ、全部見えたら...ヤですよね。
基本認証を使ったアクセス制限など必要かもです。
そもそも「見せたくないページ」は、ちゃんと設計して作らないと...（ネ）。