[Linux] mongodb 初步--2/3 @新精讚

群組文章
[Linux] mongodb 初步--1/3 安裝及基本操作

[Linux] mongodb 初步--2/3 叢集

[Linux] mongodb 初步--3/3 權限和幫助

使用mongodb的一些大小事：關於叢集。

個人認為一個好的資料庫叢集應該有下面的特性：

易於安裝及設定
單一伺服器死機不影響運作
空間不足時可以平行擴展，不用重裝
叢集中單元數增加不會影響效能太多，尤其是搜尋時
易於維護及查錯，或有管理工具

因此，在使用mongo的叢集時，一定要先把他給搞懂，以下的文字都是用我的話寫的，如有疑問或錯誤歡迎討論。

一、名詞解釋

1. replica set 複本組(我給他的中文名)

複本組是非同步的「主要/隨從資料庫」型式，再加上自動的失敗復原功能，簡單的來說，就是「主從式」的架構。

一個複本組由2個及以上的結點組成，這裡的結點指的是一個mongod，有配置一個實體的目錄空間。
同一個複本組裡面的結點所存的內容會相同。
這個複本組會自動的選出一個主要的結點，我們不必指定誰是主要的。
主要的結點可以讀寫，隨從結點只能讀
mongos(也就是route角色的mongod)自動會去找主要結點來寫入，對於sharding亦同。

2. sharding 切片
sharding是指一個「切片的方法」，這個方法可使資料庫藉由自動分割的方式平行擴展。叢集資料庫中每一個單元叫shard(一個切片)，叢集資料庫可由數個切片組成；每一個切片中可包含一個複本組或是一個結點所組成。

3. Sharded Cluster 切片的叢集

將許多的分散的資料庫程式集合在一起，看起來就像只有一個資料庫的方法叫叢集。mongodb採用切片的方法來叢集，所以叫切片的叢集(Sharded Cluster)。
這個方法，就像是政府目前推行的「單一窗口」，讓洽公的民眾不必打電話轉來轉去找不到承辦單位，由統一的窗口單位幫你轉到能幫你處理事情的單位。

4. oplog(operations log) 操作記錄

不由分說，這個東西就是管理叢集資料庫的操作，它其實是一個包裝過的資料表(capped collection)，裡面記錄所有修改的操作以供所有的複本組同步使用，每個複本組中的結點都會複製一份oplog來維持同步，Linux中預設會用磁碟空間的5%，如果資料庫拿來存檔案的話，空間不宜太小以策安全。

二、規畫

這是我的規畫

規畫的考量

可容許最多二台伺服器同時故障而不會影響資料的完整性及可用性。
可平行擴展以支持未來資料量大增的需求(因為要來存檔案，使用量增加很快)
如果只有三台伺服器可用，可採用[3]的規畫方式
接入點使用預設的27017埠，省去修改程式的麻煩。

三、設定

因為只有三台伺服器，所以暫時只設定rs1和rs2這兩個複本組，爾後有增加伺服器時，再增加設定rs3, rs4.....

1. 建立資料庫目錄
[SERVER1]

# cd /var/lib/mongo/

# mkdir rs1data

# mkdir config

# chown mongod:mongod rs1data

# chown mongod:mongod config

[SERVER2], [SERVER3]

# cd /var/lib/mongo/

# mkdir rs1data

# mkdir rs2data

# mkdir config

# chown mongod:mongod rs1data

# chown mongod:mongod rs2data

# chown mongod:mongod config

2. 建立複本組

將oplog設為2G
[SERVER1]
# mongod --shardsvr --replSet rs1 --port 28001 --dbpath /var/lib/mongo/rs1data --oplogSize 2000 --logpath /var/lib/mongo/rs1.log --logappend --fork

[SERVER2], [SERVER3]
# mongod --shardsvr --replSet rs1 --port 28001 --dbpath /var/lib/mongo/rs1data --oplogSize 2000 --logpath /var/lib/mongo/rs1.log --logappend --fork
# mongod --shardsvr --replSet rs2 --port 28002 --dbpath /var/lib/mongo/rs2data --oplogSize 2000 --logpath /var/lib/mongo/rs2.log --logappend --fork

3. 初始化複本組

分別連到複本組rs1及rs2其中一個node：

[rs1]

# mongo 163.17.38.80:28001

MongoDB shell version: 2.2.2

connecting to: 163.17.38.80:28001/test

> cfg={ _id : 'rs1', members : [ {_id:0, host: '163.17.38.80:28001'},

{_id:1, host: '163.17.38.81:28001'}, {_id:2, host: '163.17.38.84:28001'}, ] }

> rs.initiate(cfg);

{

"info" : "Config now saved locally. Should come online in about a minute.",

"ok" : 1

}

[rs2]

# mongo 163.17.38.81:28002

MongoDB shell version: 2.2.2

connecting to: 163.17.38.80:28001/test

> cfg={ _id : 'rs2', members : [ {_id:0, host: '163.17.38.81:28002'},

{_id:1, host: '163.17.38.84:28002'}, ] }

> rs.initiate(cfg);

{

"info" : "Config now saved locally. Should come online in about a minute.",

"ok" : 1

}

查看rs狀態：
> rs.status();

看誰是主要master
> db.isMaster()

更多指令
> rs.help();

4. 設置config server

[SERVER1], [SERVER2], [SERVER3]

# mongod --configsvr --port 28000 --dbpath /var/lib/mongo/config --logpath /var/lib/mongo/config.log --logappend --fork

到此為止config server 和複本組還沒有任可關聯，換句話說，複本組還不知道config server的存在。所以，接下來就是要配置route server，讓他和config server產生關聯。

5. 設置route server(mongos)

這裡我採用32MB(預設是64MB)作為chunksize，數字越大越不容易平均分散，數字越小效能會降低。

[SERVER1], [SERVER2], [SERVER3]

# mongos --configdb 163.17.38.80:28000,163.17.38.81:28000,163.17.38.84:28000 --port 27017 --chunkSize 32 --logpath /var/lib/mongo/mongos.log --logappend --fork

6. 組態 sharded cluster

最後要做的事，就是讓mongos知道有那些rs可以用，並把每個rs編成shard

連到任一台的mongos

# mongo 163.17.38.80:27017

mongos> use admin;
switched to db admin
mongos> db.runCommand( {addshard: "rs1/163.17.38.80:28001,163.17.38.81:28001,163.17.38.84:28001", 
    name: "sh1", maxsize:50});
{ "shardAdded" : "sh1", "ok" : 1 }
mongos> db.runCommand( {addshard: "rs2/163.17.38.81:28002,163.17.38.84:28002", 
    name: "sh2", maxsize:50});
{ "shardAdded" : "sh2", "ok" : 1 }
// 觀察我的切片
mongos> db.runCommand( { listshards : 1 } )
{
        "shards" : [
                {
                        "_id" : "sh2",
                        "host" : "rs2/163.17.38.81:28002,163.17.38.84:28002"
                },
                {
                        "_id" : "sh1",
                        "host" : "rs1/163.17.38.80:28001,163.17.38.81:28001,163.17.38.84:28001"
                }
        ],
        "ok" : 1
}
// 將資料庫拿來切片，執行這個指令後，該資料庫不同collection會被放在不同切片，但collection本身不再被切片
mongos> db.runCommand( { enablesharding: "<dbname>" } );
ex: 
mongos> db.runCommand( { enablesharding : "test" } );
{ "ok" : 1 }

7. 將collection 也切片

如果只有資料庫切片，遇到比較大的collection，就會有平均的問題出現。記得 enablesharding 的指令要先下後才執行這個指令。

它的寫法是

> db.runCommand({ shardCollection: "<db>.<collection>", key: <shardkey> });

這裡的 key 是指collection中再被切的依據方法

ex:

mongos> use test
mongos> db.createCollection("c1");
{ "ok" : 1 }

備註

1. 要刪除一個執行中的 mongod # mongod --port 28001 --dbpath /var/lib/mongo/rs1data --shutdown

2. 如果在初始化複本組出現這樣的錯誤，請確定你的mongod有沒有正常啟動，或是被防火牆擋住了

> rs.initiate(cfg);

{ "errmsg" : "couldn't initiate : need all members up to initiate, not ok : 163.17.38.81:28001", "ok" : 0 }

3. 查看rs的狀況

> db._adminCommand("replSetGetStatus")

如果出現 "errmsg" : "still initializing"，就要去檢查錯誤的log，看看你的防火牆是不擋住了。

4. 查看切片狀態，有shards和databases

> db.printShardingStatus();
--- Sharding Status ---
sharding version: { "_id" : 1, "version" : 3 }
shards:
        { "_id" : "sh1", "host" : "rs1/163.17.38.80:28001,163.17.38.81:28001,163.17.38.84:28001" }
        { "_id" : "sh2", "host" : "rs2/163.17.38.81:28002,163.17.38.84:28002" }
databases:
        { "_id" : "admin", "partitioned" : false, "primary" : "config" }
        { "_id" : "test", "partitioned" : false, "primary" : "sh1" }

感謝

台中市網路中心陳瑩光提的需求
[3] 這個文章對我的幫助最大，感謝阿里巴巴技術小組無私的提供方法

參考資料

[1] Mongodb http://www.mongodb.org/display/DOCS/Replica+Sets

[2] Replication http://www.mongodb.org/display/DOCS/Replication

[3] 配置mongodb分片群集 http://www.taobaodba.com/html/525_525.html

[4] http://www.elmerzhang.com/2011/03/mongodb-auto-sharding-introduction/

[5] Mongo DB Sharding 心得筆記 (一) 有各單元的解釋和平衡的說明 http://leehom59.blogspot.tw/2011/11/mongo-db-sharding.html

原文 2012-12-10 12:23:09