とは...ちょっと難しいですね。
一言で言えば、URLに付けられたなんらかのID番号を識別し個々に違うページを表示したり、あるいはアクセスしてきたブラウザのバージョンや携帯端末の機器を判定し違うページを表示したりするような場合、と言うことだと思います。
このようなアクセス者（アクセス機）を判別し違う表示をする場合、大抵は同じCGIプログラムにより動的に違うページを生成しています。
一見異なっているようで実際は同じページにリンクしているURL と表現しているのはそのためだと思います。

業界では個々にパーソナライズされた情報を提供するバックエンドの仕組みを「リコメンド」などと表現します。
アマゾンドットコムが有名です。
もっと身近なところとして、例えば「Yahoo!オークション」。
暇があったら試してみてください。

Yahoo!オークションのDVDカテゴリで「H」なDVDを2〜3回クリックしてみてください。
同カテゴリのトップページの商品紹介欄に何故か同様DVDがプッシュ（表示）されます。
これはアクセスした人の嗜好を分析し、より興味の高い情報を露出する！と言うケースです。

しかし、クローラはなんの嗜好や意思を持たず、仕事としてせっせっとアクセスしては分析〜登録を繰返しているわけですから、リコメンドの思想には有り得ない話ですね。

このようにアクセス種別を意識したコントロールは時によりクローラを迷宮へと誘い込み、苦し紛れに変な登録をさせてしまう可能性がありますよ、ってことみたいです。
このあたりの技術はまだまだ不完全です、と言う証でしょうか。