06
2010
10

腾讯的“搜搜”可能不支持Robots.txt

    因为在腾讯论坛当职的缘故,有时候会关注一下腾讯论坛的情况,可奇怪的是除了腾讯搜搜外,百度、谷歌都不去索引腾讯论坛的内容。一开始我以为是腾讯论坛知名度低,互联网上找不到这个论坛的索引入口,可这个想法很快被否定了。所以我决定检查一下腾讯论坛的Robots.txt。

    http://bbs.qq.com/robots.txt

     http://bbs.tech.qq.com/robots.txt

    内容让我大跌眼镜:

 

...

«1»