User-agent: * Disallow: / http://mdn.mainichi.jp/robots.txt 上の呪文の意味 全ての検索エンジンなどのロボット（クローラ：Webページの情報を収集して回るプログラム）を拒否する。 参考：ロボット排除 - 全てのロボットがサイト全体を訪問しないように…

ワシは以前、個人ニュースサイトを運営していたことがあり、マスメディアのWebサイトを普通の人よりは良く見ていた。その中でも毎日新聞を一番良く引用していたと思う。 以下にその理由を挙げる。 1.署名記事が多い 毎日新聞は、『毎日新聞ここがウリです』…