| トップページへ戻る |
[雑談]
robots.txtをちゃんと置こう
09/13/2000 16:18
(投稿者：たかの)
本家Squishdotで、「Googleが全記事のAddPostingFormを拾っていきやがった」なんて話が書かれていたので、慌ててログを見たけど「あ、うちは大丈夫じゃん」なんて思ってた。けど今日あらためてログ見たら、しっかりgooにヤラレちゃってた。
|
あいたたた、だから元記事をちゃんと読みなさいって＜自分
|
これZopeの売り物オブジェクト指向がアダになるケースですよね。URLで見るとそれぞれ別のAddPostingFormってことにされちゃう。
|
です。さかさま（/AddPosting/12345678/23456789 とか）だったら、robots.txtでパス制限できるらしいですが、実装ぐちゃぐちゃになりそうですね。
ですね(汗) 突き詰めると「なんでワイルドカード許さなかったんじゃろ」という話になる。たぶん、実装が複雑になって嫌われる（存在そのものを無視される）ことを恐れたんじゃないかと思うんですが。 でも、UAのワイルドカード実装が出来るなら、パスのワイルドカード実装だって出来るダロ、と思ってしまったのでした。 ブルース・ペレンスの話だと、.cgiとついているとクロールされないって話ですが、これだっておもいっきりローカルルールですよねぇ。それだったらパスのワイルドカードだって…と思ってしまう。 ともあれ、これでしばらく様子見てみます。各ロボットの度量がわかるな、きっと。 |
] ブルース・ペレンスの話だと、.cgiとついているとクロールされないって話ですが、これだっておもいっきりローカルルールですよねぇ。それだったらパスのワイルドカードだって…と思ってしまう。
|
] これはこれで問題あるんですよね。こんなページもあるし。
|
] んで、moget再来しました。*/AddPostingFormで、うまく拾わなくなってくれたみたい。
|
結局これ、robots.txtを使わない方法であっさりブロックできてしまうのであった。続報記事をどうぞ。
|
