毎日デイリーニューズが検索エンジンを拒否

User-agent: *
Disallow: /

http://mdn.mainichi.jp/robots.txt

上の呪文の意味

全ての検索エンジンなどのロボット（クローラ：Webページの情報を収集して回るプログラム）を拒否する。

• 参考：ロボット排除 - 全てのロボットがサイト全体を訪問しないようにしたい場合

ここまで体を張ったネタは、なかなかできんわ。
やっぱ、robots.txtを無視するクローラは必要なのかもしれんね。

追記

はてなブックマークのコメントを見ると、毎日.jpがクローラ蹴ってるように誤解してる人がいる。実際は「毎日デイリーニューズ」が蹴ってるだけだからね。