MongoDB · 2016-10-04 1

MongoDB 搭建高可用集群(3个分片+3个副本)

配置脚本以及目录下载:点我下载

一、规划好端口ip
    架构图如下,任意抽取每个副本集中的一个分片(非仲裁节点)可以组成一份完整的数据。
    1. 第一个副本集rs1

share1   10.0.0.7:30011:/data/share_rs/share_rs1/share1/data/
share2   10.0.0.7:40011:/data/share_rs/share_rs1/share2/data/
share3   10.0.0.7:50011:/data/share_rs/share_rs1/share3/data/
    2. 第二个副本集rs2
 
share1   10.0.0.7:30012:/data/share_rs/share_rs2/share1/data/
share2   10.0.0.7:40012:/data/share_rs/share_rs2/share2/data/
share3   10.0.0.7:50012:/data/share_rs/share_rs2/share3/data/
    3. 第三个副本集rs3
 
share1   10.0.0.7:30013:/data/share_rs/share_rs3/share1/data/
share2   10.0.0.7:40013:/data/share_rs/share_rs3/share2/data/
share3   10.0.0.7:50013:/data/share_rs/share_rs3/share3/data/
    4.config server
config1   10.0.0.7:30002:/data/share_rs/config/config1/data/
config2   10.0.0.7:30002:/data/share_rs/config/config2/data/
config3   10.0.0.7:30002:/data/share_rs/config/config3/data/
    5. mongos
mongos1   10.0.0.7:30001:/data/share_rs/mongos/mongos1/data/
mongos2   10.0.0.7:30001:/data/share_rs/mongos/mongos2/data/
mongos3   10.0.0.7:30001:/data/share_rs/mongos/mongos3/data/
二、创建相应的目录
mkdir -p /data/share_rs/{share_rs1,share_rs2,share_rs3}/{share1,share2,share3}/{data,log}
mkdir -p /data/share_rs/mongos/{mongos1,mongos2,mongos3}/{data,log}
mkdir -p /data/share_rs/config/{config1,config2,config3}/{data,log}
三、配置mongs和config的配置文件(其他副本参考修改端口以及ip)
[mongo@mongo config1]$ cat mongo.conf
dbpath=/data/share_rs/config/config1/data/
logpath=/data/share_rs/config/config1/log/mongo.log
logappend=true
port=30002
fork=true
rest=true
httpinterface=true
configsvr=true

[mongo@mongo mongs1]$ cat mongo.conf 
logpath=/data/share_rs/mongos/mongos1/log/mongo.log
logappend=true
port=30001
fork=true
configdb=10.0.0.7:30002,10.0.0.7:40002,10.0.0.7:50002
chunkSize=1
四、依次启动三个副本上的config服务器以及mongs服务器
 
mongod -f /data/share_rs/config/config1/mongo.conf
mongod -f /data/share_rs/config/config2/mongo.conf
mongod -f /data/share_rs/config/config3/mongo.conf

mongos -f /data/share_rs/mongos/mongos1/mongo.conf
mongos -f /data/share_rs/mongos/mongos2/mongo.conf
mongos -f /data/share_rs/mongos/mongos3/mongo.conf

五、配置mong分片的的配置文件(其他副本参考修改端口以及ip),同一个分片的副本集名称一样,即replSet。
第一个副本集的一个分片
[mongo@mongo share_rs1]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs1/share1/data
logpath=/data/share_rs/share_rs1/share1/log/mongo.log
logappend=true
port=30011
fork=true
rest=true
httpinterface=true
replSet=rs1
shardsvr=true

第二个副本集的一个分片
[mongo@mongo share_rs2]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs2/share1/data
logpath=/data/share_rs/share_rs2/share1/log/mongo.log
logappend=true
port=30012
fork=true
rest=true
httpinterface=true
replSet=rs2
shardsvr=true

第三个副本集的一个分片
[mongo@mongo share_rs1]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs3/share1/data
logpath=/data/share_rs/share_rs3/share1/log/mongo.log
logappend=true
port=30013
fork=true
rest=true
httpinterface=true
replSet=rs3
shardsvr=true
六、启动各个分片以及相应的副本
mongod -f /data/share_rs/share_rs1/share1/mongo.conf
mongod -f /data/share_rs/share_rs1/share2/mongo.conf
mongod -f /data/share_rs/share_rs1/share3/mongo.conf
mongod -f /data/share_rs/share_rs2/share1/mongo.conf
mongod -f /data/share_rs/share_rs2/share2/mongo.conf
mongod -f /data/share_rs/share_rs2/share3/mongo.conf
mongod -f /data/share_rs/share_rs3/share1/mongo.conf
mongod -f /data/share_rs/share_rs3/share2/mongo.conf
mongod -f /data/share_rs/share_rs3/share3/mongo.conf

[mongo@mongo share_rs]$ ps -ef | grep mongo | grep share | grep -v  grep
mongo     2480     1  0 12:50 ?        00:00:03 mongod -f /data/share_rs/share_rs1/share1/mongo.conf
mongo     2506     1  0 12:50 ?        00:00:03 mongod -f /data/share_rs/share_rs1/share2/mongo.conf
mongo     2532     1  0 12:50 ?        00:00:02 mongod -f /data/share_rs/share_rs1/share3/mongo.conf
mongo     2558     1  0 12:50 ?        00:00:03 mongod -f /data/share_rs/share_rs2/share1/mongo.conf
mongo     2584     1  0 12:50 ?        00:00:03 mongod -f /data/share_rs/share_rs2/share2/mongo.conf
mongo     2610     1  0 12:50 ?        00:00:02 mongod -f /data/share_rs/share_rs2/share3/mongo.conf
mongo     2636     1  0 12:50 ?        00:00:01 mongod -f /data/share_rs/share_rs3/share1/mongo.conf
mongo     2662     1  0 12:50 ?        00:00:01 mongod -f /data/share_rs/share_rs3/share2/mongo.conf
mongo     2688     1  0 12:50 ?        00:00:01 mongod -f /data/share_rs/share_rs3/share3/mongo.conf
mongo     3469     1  0 13:17 ?        00:00:00 mongod -f /data/share_rs/config/config1/mongo.conf
mongo     3485     1  0 13:17 ?        00:00:00 mongod -f /data/share_rs/config/config2/mongo.conf
mongo     3513     1  0 13:17 ?        00:00:00 mongod -f /data/share_rs/config/config3/mongo.conf
mongo     3535     1  0 13:18 ?        00:00:00 mongos -f /data/share_rs/mongos/mongos1/mongo.conf
mongo     3629     1  0 13:22 ?        00:00:00 mongos -f /data/share_rs/mongos/mongos2/mongo.conf
mongo     3678     1  0 13:22 ?        00:00:00 mongos -f /data/share_rs/mongos/mongos3/mongo.conf
七、设置副本集
1.登录第一个副本的一个分片,为其设置副本集
mongo 127.0.0.1:30011/admin
config = { _id:"rs1", members:[
                     {_id:0,host:"10.0.0.7:30011"},
                     {_id:1,host:"10.0.0.7:40011"},
                     {_id:2,host:"10.0.0.7:50011",arbiterOnly:true}
                ]
         }

-- >; 注意:这里id rs1 需要与副本集中的名称一样即replSet的值
rs.initiate(config)
{ "ok" : 1 }   -- >; 提示这个说明初始化成功
 
2.登录第二个副本的一个分片,为其设置副本集

mongo 127.0.0.1:30012/admin
config = { _id:"rs2", members:[
                     {_id:0,host:"10.0.0.7:30012"},
                     {_id:1,host:"10.0.0.7:40012"},
                     {_id:2,host:"10.0.0.7:50012",arbiterOnly:true}
                ]
         }
rs.initiate(config)
{ "ok" : 1 }   -- >; 提示这个说明初始化成功

3.登录第三个副本的一个分片,为其设置副本集

mongo 127.0.0.1:30013/admin
config = { _id:"rs3", members:[
                     {_id:0,host:"10.0.0.7:30013"},
                     {_id:1,host:"10.0.0.7:40013"},
                     {_id:2,host:"10.0.0.7:50013",arbiterOnly:true}
                ]
         }
rs.initiate(config)
{ "ok" : 1 }   -- >; 提示这个说明初始化成功
八、目前前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接mongos 路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。
连接到第一个mongos上
mongo 10.0.0.7:30001/admin
db.runCommand({addshard:"rs1/10.0.0.7:30011,10.0.0.7:40011,10.0.0.7:50011",allowLocal:true}); 
db.runCommand({addshard:"rs2/10.0.0.7:30012,10.0.0.7:40012,10.0.0.7:50012"});
db.runCommand({addshard:"rs3/10.0.0.7:30013,10.0.0.7:40013,10.0.0.7:50013"});
 
-- >;  将第一个分片的所有副本全部加入
-- >;  如里shard是单台服务器,用 db.runCommand( { addshard : "[: ]" } )这样的命令加入
-- >;  如果shard是副本集,用db.runCommand( { addshard : "replicaSetName/[:port][,serverhostname2[:port],…]" });这样的格式表示.

mongos>; sh.status()
--- Sharding Status ---
  sharding version: {
        "_id" : 1,
        "minCompatibleVersion" : 5,
        "currentVersion" : 6,
        "clusterId" : ObjectId("57f33f4d35d9c494714adfa7")
}
  shards:
        {  "_id" : "rs1",  "host" : "rs1/10.0.0.7:30011,10.0.0.7:40011" }
        {  "_id" : "rs2",  "host" : "rs2/10.0.0.7:30012,10.0.0.7:40012" }
        {  "_id" : "rs3",  "host" : "rs3/10.0.0.7:30013,10.0.0.7:40013" }
  active mongoses:
        "3.2.7" : 3
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours:
                No recent migrations
  databases:
九、将集合进行分片。
db.runCommand({enablesharding:"testcol"});
-- >; 指定testdb分片生效

db.runCommand({shardcollection: "testcol.testdoc",key : {id: 1} } )
-- >; 指定数据库里需要分片的集合和片键

-->; 插入测试数据
for (var i = 1; i <;= 100000; i++){ db.testdoc.save({id:i,"name":"harvey"})}; -- >; 查看该集合的状态
db.testcol.stats();