这是个全民[敲 摸]手机[键盘 屏幕]的时代，这是个全民搜索的时代。 曾几何时，人们在陌生城市问路还是“警察叔叔，XXX怎么走”，现在却成了“土货，拿爱疯手机用谷歌soso一下啊！” 可以看出，随着web2.0的时代，搜索引擎成了日常生活中不可或缺的工具之一，连这篇文章里面的有些内容也是通过搜索引擎收集而来。 搜索引擎的市场前景这么火，做搜索的也就多，国外的谷歌，雅虎等等老牌搜索商且不说，国内的百度，soso,搜狗，网易有道，人民搜索等等也是常见的搜索引擎，更有些中小公司或者学校也有自己开发的搜索引擎。 标题里的robots.txt，做爬虫的大牛们应该挺熟悉，一个良好，善意的爬虫在爬取索引网页的时候，会首先爬取根目录下的/robots.txt文件，从robots.txt中得知服务器允许你爬取哪些内容，不允许你爬取哪些。  比如一个爬虫想要访问http://www.somesite.com/sample.html时，它会首先访问http://www.somesite.com/robots.txt，得到内容为： User-agent :* Disallow:/ 这里User-agent表示后面的限制对指定名字的爬虫生效，如User-agent: Baiduspider 表示只对百度的爬虫生效 ，这里为*表示对所有的爬虫都生效。 Disallow:/ 表示所有的文件都不能被爬取，像Disallow:/a/表示a目录下的文件不能被爬取，类似的关键字还有Allow，表示哪些目录或文件能被爬虫爬取索引。 其他还有什么sitemap字段，这个和网站SEO相关，也有单独的书写规范，但是不在本文的讨论范围之内，在http://www.robotstxt.org 可以获得robots.txt的书写规范与注意事项。 从上可知，该网站是不希望任何爬虫索引它的内容。所以如果在谷歌中搜索site:somesite.com时是得不到任何结果的 下面我们来看一看国内某SNS网站的robots.txt是如何写的： # Robots.txt file from http://www.马赛克.com # All robots will spider the domain User-agent: * Allow: / Disallow: /profile.do* Disallow: /getuser.do* 这两条disallow，第一条禁止了类似/profile.do?xxxx=xxxx这样的网址被索引到，这个是用户主页，而第二条类似的，是搜索用户页，这两条的意思是，所有的搜索引擎你爬其他的可以，千万不要爬用户的数据啊......看上去没有什么问题，至少对于良好的爬虫来说，是这样。但是安全就像妹子，有时你觉得你得到了她，但是也许就在不经意间你就失去了。 言归正传，我们来看看该SNS的手机无线页面的robots.txt是咋样的： # Robots.txt file from http://www.马赛克.com # All robots will spider the domain User-agent: * Disallow: 可以看到该无线站点的配置是所有的页面都能被爬虫爬取。这个暂且放在一边，我们先来谈谈无线站点的登录态。 首先，HTTP协议是一个没有状态的协议，现在网站的登录态Seesion大多依靠Cookie实现。 但是呢，以前的手机浏览器并不是所有的都能够支持Cookie的，那么如何实现登录态的保持和类似保存书签的功能呢？ 人们一般采取的是在URL里面添加某些表示字段来表示用户身份，如在登录后访问网址时带上了?XX=TSYq82hO7UbJOMkXUX4bTA 字段，服务器端再通过取该字段来验证用户身份，而无需要求用户重新登录。 如果有熟悉搜索引擎的搜索命令的人，结合我上面所说无线登录态和无线站点robots.txt就应该知道我下一步可以干什么了。 通过谷歌搜索，我们得到了一批带有该字段的网址，然后随便点击一个，我们就得到了她的登录态： 目前我查看了下该SNS网站无线站点的robots.txt已经更改为disallow:/ 禁止搜索引擎给索引到了，所以各位暂时不用担心自己的账户被别人登录。 但是该站点的甄别字段有效期特别地长（也许是书签功能的缘故）...所以已经被索引到的内容仍然具有登录态，所以上面搜索到的用户，任何人登录，都能获得她的登录态。 而像某些无线站点，其使用甄别的有效期不长，因此即使被索引到了，但是有效期一过用户带着有该字段的链接访问，仍然需要用户重新登录 。 因此，对于良好的爬虫，我们应该采取的安全策略是： 首先：禁止某些敏感目录或url被爬虫爬取到，如上面的/profile.do* ,/cgi-bin/,/admin/等等。 其次，对于无线站点的登录态有效期应根据业务的需要设置，不能过长，有效期一过应要求用户重新登录验证。 上面的讨论仅限于那些有瑞雪精神的爬虫，对于某些不瑞雪或者是初学者学写的爬虫，根本就不理会robots.txt对访问目录的限制，膝盖中枪的爬虫有比如YoudaoBot, HuaweiSymantecSpider等等，这些爬虫不会爬取robots.txt中的内容，那么我们该怎样做呢。 一般可以采取在服务器中配置禁止该网段IP访问，如在apache服务器配置文件中加入： # deny from Sogou web spider Deny from 220.181.125.64/29 Deny from 220.181.94.192/26 这样就可以做到既防君子，又防小人的效果，具体IP和行为可以查看服务器log得到，在某些目录访问频繁的IP，很有可能就是爬虫的IP，如果不想让其访问，就可以将该IP封掉。 |
