nginx + gridfs 实现图片的分布式存储安装（一年后挂了）

tianzc

[size=12.727272033691406px]

1、前期准备

sudo yum -y install pcre-devel openssl-devel GeoIP-devel zlib-devel

2、下载nginx-gridfs源码，并将mongodb-mongo-c-driver源码添加到nginx-gridfs/mongo-c-driver中

# 下载地址会因为代码版本号的变更不能使用，博友们自己搜一下吧。。

wget https://download.github.com/mdirolf-nginx-gridfs-v0.8-0-gb5f8113.tar.gz

tar –zxvf mdirolf-nginx-gridfs-v0.8-0-gb5f8113.tar.gz

mv mdirolf-nginx-gridfs-v0.8-0-gb5f8113 mdirolf-nginx-gridfs-v0.8

wget https://download.github.com/mongodb-mongo-c-driver-v0.3-0-g74cc0b8.tar.gz

tar –zxvf mongodb-mongo-c-driver-v0.3-0-g74cc0b8.tar.gz

mv mongodb-mongo-c-driver-v0.3-0-g74cc0b8/* mdirolf-nginx-gridfs-v0.8/mongo-c-driver

rm –rf mongodb-mongo-c-driver-v0.3-0-g74cc0b8

3、安装nginx，指定nginx-gridfs目录与nginx联合编译

wget http://nginx.org/download/nginx-1.0.1.tar.gz

tar –zxvf nginx-1.0.1.tar.gz

cd nginx-1.0.1

./configure --prefix=/usr/local/nginx --with-openssl=/usr/include/openssl --with-http_stub_status_module --add-module=/home/cdh/Downloads/mdirolf-nginx-gridfs

make –j8

sudo make install –j8

4、安装mongodb并启动

wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.1.tgz

tar –xvf mongodb-linux-i686-1.8.1.tgz

sudo mv mongodb-linux-i686-1.8.1 /usr/local/mongodb

sudo mkdir –p /tmp/mongodb/data

/usr/local/mongodb/bin/mongod --dbpath /tmp/mongodb/data --logpath /tmp/mongodb/data/log.log –fork

5、配置nginx-gridfs

sudo vim /usr/local/nginx/conf/nginx.conf

location /pics/ {

    gridfs pics

              field=filename

              type=string;

    mongo 127.0.0.1:27017;

}

gridfs：nginx识别插件的关键字

pics：db名

[root_collection]: 选择collection，如root_collection=blog， mongod就会去找blog.files与blog.chunks两个块，默认是fs

[field]：查询字段，保证mongdb里有这个字段名，支持_id, filename, 可省略, 默认是_id

[type]：解释field的数据类型，支持objectid, int, string, 可省略, 默认是int

[user]：用户名, 可省略

[pass]：密码, 可省略

mongo：mongodb url

6、上传图片

sudo /usr/local/mongodb/bin/mongofiles put --host localhost --port 27017 --db pics --local ~/photo.jpg --type jpg

7、启动nginx

sudo /usr/local/nginx/sbin/nginx

在浏览器里输入http://localhost/pics/photo.jpg 能下载图片就说明成功了

8、写在一年之后的说明

gridfs受限于mongodb本身的性能限制，在存储大量数据后写性能下降很快，读并发也不尽如人意。在吞吐峰极限值(6台集群2分片30-40M/s)请况下日志会出现大量我们解决不了的异常（被折磨的死去活来的）。所以，他并不适合作为一个专用的大规模的分布式文件存储系统，但能够满足一般应用级别静态文件存储需求。

[size=12.727272033691406px]张淼

[size=12.727272033691406px]mongodb分片部署

1、mongodb分片科普 (各种罗嗦)

Replica Set（副本集）：

副本集使其组内的每个成员（member）在不同的mongod实例中具有相同的数据备份，这样可以将来自应用服务器的请求访问（request visit）得以均匀的分布在Replica Set的每一个成员所在的mongod实例上，用以减缓单台mongod服务器在请求负载上的压力。在一定时限内Replica Set能完成其组内成员数据的最终一致，这种备份机制是自动且对用户透明的。

Mongodb使用缓存来大量命中读请求来达到提高吞吐量的目的，这样使得在某些极端的情况下(比如单机房部署环境下机房断电)仍不能保证数据完整可靠的保存下来。会丢失最近几十秒内最新写入的数据。

Sharding(切分规则)：

在单mongod实例中的数据负载过大时，可以考虑将实例中的数据按一定的规则将数据部署到不同mongod实例中。同样在此切分规则之下，对数据的访问请求也将按此规则分发到不同的mongod实例中，解决单机数据量过大时查询性能下降的问题。

当然，系统要求数据库在切分规则下也有较高的可用性，保证数据在经过切分后也会有多份拷贝放置在不同的服务器中。使得相同数据的mongod实例形成分片组(shards group)，既Replica Set。这样使得mongodb集群允许不多的服务器故障后仍然保有完整的数据。

Config Server(配置服务器):

Config Server存储分片集群的的元数据，其中包括在每个mongod实例的基本信息和块信息。每个配置服务器所有块的元数据的副本。通过两次提交来确保在配置服务器信息与块数据的一致性。

Routing Processor(mongos路由进程)

mongos 可以被看作是一个数据和请求分发的中心，使单一的mongod实例组成互相关联的集群。当接收客户端请求， mongos根据Config Server路由到相应的mongod实例(可能是一组mongod)，处理并返回结果。mongos 进程没有持久状态，在mongos启动时和配置服务器建立连接并获取状态，当配置服务器发生任何变化时，会将之传播到每个mongos 进程。

(领导让写个方案，就照着别人的画了个图，纯属剽窃，如有雷同，不会是巧合! )

2、启动三台机器的mongod实例

根据Replica Set、Sharding策略部署mongod。将两个sharding组部署到三台服务器上，每个sharding组有三个replica set成员。

#Server1:
mkdir -p /data2/mongodb/shard11
mkdir -p /data2/mongodb/shard21
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard11 --oplogSize 100 --logpath /data2/mongodb/shard11.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard21 --oplogSize 100 --logpath /data2/mongodb/shard21.log --logappend --fork –rest

#Server2:
mkdir -p /data2/mongodb/shard12/
mkdir -p /data2/mongodb/shard22/
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard12 --oplogSize 100 --logpath /data2/mongodb/shard12.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard22 --oplogSize 100 --logpath /data2/mongodb/shard22.log --logappend --fork –rest

#Server3:
mkdir -p /data2/mongodb/shard13/
mkdir -p /data2/mongodb/shard23/
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard13 --oplogSize 100 --logpath /data2/mongodb/shard13.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard23 --oplogSize 100 --logpath /data2/mongodb/shard23.log --logappend --fork –rest

3、初始化Replica Set

通过命令行初始化两组Replica Set，通过mongo连接到一个mongod

/mongodb/bin/mongo 172.17.0.121:27017

config = {_id: ‘shard1′, members: [
                          {_id: 0, host: '172.17.0.121:27017'},
                          {_id: 1, host: '172.17.0.122:27017'},
                          {_id: 2, host: '172.17.0.123:27017'}]};

rs.initiate(config);

/mongodb/bin/mongo 172.17.0.121:27018

config = {_id: ‘shard2′, members: [
                          {_id: 0, host: '172.17.0.121:27018'},
                          {_id: 1, host: '172.17.0.122:27018'},
                          {_id: 2, host: '172.17.0.123:27018'}]};

rs.initiate(config);

4、启动并配置三台Config Server

#Server1、2、3:
mkdir -p /data2/mongodb/config/
/mongodb/bin/mongod --configsvr --dbpath /data2/mongodb/config/ --port 20000 --logpath /data2/mongodb/config1.log --logappend –fork

5、部署并配置三台Routing Server

指定所有的config sever地址参数，chunkSize是分割数据时每块(Chunk)的单位大小

#Server1、2、3:

/mongodb/bin/mongos --configdb 172.17.0.121:20000, 172.17.0.122:20000, 172.17.0.123:20000 --port 30000 --chunkSize 100 --logpath /data2/mongodb/mongos.log --logappend –fork

6、命令行添加分片

连接到mongs服务器，并切换到admin

/mongodb/bin/mongo 172.17.0.121:30000/admin

db.runCommand( {

    addshard : “shard1/172.17.0.121:27017, 172.17.0.122:27017, 172.17.0.123:27017”,

    name:”shard1”,

    maxsize:20480,

    allowLocal:true } );

db.runCommand( {

    addshard : “shard2/172.17.0.121:27018, 172.17.0.122:27018, 172.17.0.123:27018”,

    name:”shard2”,

    maxsize:20480

    allowLocal:true} );

db.runCommand( { listshards : 1 } );

如果列出(sharding)了以上二个你加的shards，表示shards已经配置成功

7、激活数据库的分片

DB分片, 使DB下所有Collection实现数据的横向切分

db.runCommand( { enablesharding : “test” } );

查看Sharding状态

use admin;

db.printShardingStatus();

Collection分片,  使单个Collection实现数据的横向切分

要使单个Collection分片存储，需要给Collection指定一个分片key。

a. 分片的collection系统会自动创建一个索引（也可用户提前创建好）

b. 分片的collection只能有一个在分片key上的唯一索引，其它唯一索引不被允许

db.runCommand( { shardcollection : “test.c1″,key : {id: 1} };

可以通过db.c1.stats()来查看分片状态。

final、生产环境建议使用配置文件来启动mongod

例: /mongodb/bin/mongod --config /data2/mongodb/shard1/shard1.properties --rest