HTable使用教程

對于建表，和RDBMS類似，HBase也有namespace的概念，可以指定表空間創(chuàng)建表，也可以直接創(chuàng)建表，進(jìn)入default表空間。

對于數(shù)據(jù)操作，HBase支持四類主要的數(shù)據(jù)操作，分別是：

· Put：增加一行，修改一行；

· Delete：刪除一行，刪除指定列族，刪除指定column的多個版本，刪除指定column的制定版本等；

· Get：獲取指定行的所有信息，獲取指定行和指定列族的所有colunm，獲取指定column，獲取指定column的幾個版本，獲取指定column的指定版本等；

· Scan：獲取所有行，獲取指定行鍵范圍的行，獲取從某行開始的幾行，獲取滿足過濾條件的行等。

這四個類都是org.apache.hadoop.hbase.client的子類，可以到官網(wǎng)API去查看詳細(xì)信息，本文僅總結(jié)常用方法，力爭讓讀者用20%的時間掌握80%的常用功能。

1. 命名空間Namespace

在關(guān)系數(shù)據(jù)庫系統(tǒng)中，命名空間namespace指的是一個表的邏輯分組，同一組中的表有類似的用途。命名空間的概念為即將到來的多租戶特性打下基礎(chǔ)：

· 配額管理（Quota Management （HBASE-8410））：限制一個namespace可以使用的資源，資源包括region和table等；

· 命名空間安全管理（Namespace Security Administration （HBASE-9206））：提供了另一個層面的多租戶安全管理；

· Region服務(wù)器組（Region server groups （HBASE-6721））：一個命名空間或一張表，可以被固定到一組regionservers上，從而保證了數(shù)據(jù)隔離性。

1.1.命名空間管理

命名空間可以被創(chuàng)建、移除、修改。

表和命名空間的隸屬關(guān)系在在創(chuàng)建表時決定，通過以下格式指定：

《namespace》：《table》

Example：hbase shell中創(chuàng)建命名空間、創(chuàng)建命名空間中的表、移除命名空間、修改命名空間

?

1.2. 預(yù)定義的命名空間

有兩個系統(tǒng)內(nèi)置的預(yù)定義命名空間：

· hbase：系統(tǒng)命名空間，用于包含hbase的內(nèi)部表

· default：所有未指定命名空間的表都自動進(jìn)入該命名空間

Example：指定命名空間和默認(rèn)命名空間

#namespace=foo and table qualifier=bar

create ‘foo:bar’， ‘fam’

#namespace=default and table qualifier=bar

create ‘bar’， ‘fam’

2. 創(chuàng)建表

廢話不多說，直接上樣板代碼，代碼后再說明注意事項和知識點：

關(guān)鍵知識點：

必須將HBase集群的hbase-site.xml文件添加進(jìn)工程的classpath中，或者通過Configuration對象設(shè)置相關(guān)屬性，否則程序獲取不到集群相關(guān)信息，也就無法找到集群，運(yùn)行程序時會報錯；

HTableDescriptor tableDesc = new HTableDescriptor（TableName.valueOf（“my_ns:mytable”））代碼是描述表mytable，并將mytable放到了my_ns命名空間中，前提是該命名空間已存在，如果指定的是不存在命名空間，則會報錯org.apache.hadoop.hbase.NamespaceNotFoundException；

命名空間一般在建模階段通過命令行創(chuàng)建，在java代碼中通過admin.createNamespace（NamespaceDescriptor.create（“my_ns”）.build（））創(chuàng)建的機(jī)會不多；

創(chuàng)建HBaseAdmin對象時就已經(jīng)建立了客戶端程序與HBase集群的connection，所以在程序執(zhí)行完成后，務(wù)必通過admin.close（）關(guān)閉connection；

可以通過HTableDescriptor對象設(shè)置表的特性，比如：通過tableDesc.setMaxFileSize（512）設(shè)置一個region中的store文件的最大size，當(dāng)一個region中的最大store文件達(dá)到這個size時，region就開始分裂；通過tableDesc.setMemStoreFlushSize（512）設(shè)置region內(nèi)存中的memstore的最大值，當(dāng)memstore達(dá)到這個值時，開始往磁盤中刷數(shù)據(jù)。更多特性請自行查閱官網(wǎng)API；

可以通過HColumnDescriptor對象設(shè)置列族的特性，比如：通過hcd.setTimeToLive（5184000）設(shè)置數(shù)據(jù)保存的最長時間；通過hcd.setInMemory（true）設(shè)置數(shù)據(jù)保存在內(nèi)存中以提高響應(yīng)速度；通過 hcd.setMaxVersions（10）設(shè)置數(shù)據(jù)保存的最大版本數(shù)；通過hcd.setMinVersions（5）設(shè)置數(shù)據(jù)保存的最小版本數(shù)（配合TimeToLive使用）。更多特性請自行查閱官網(wǎng)API；

數(shù)據(jù)的版本數(shù)只能通過HColumnDescriptor對象設(shè)置，不能通過HTableDescriptor對象設(shè)置；

由于HBase的數(shù)據(jù)是先寫入內(nèi)存，數(shù)據(jù)累計達(dá)到內(nèi)存閥值時才往磁盤中flush數(shù)據(jù)，所以，如果在數(shù)據(jù)還沒有flush進(jìn)硬盤時，regionserver down掉了，內(nèi)存中的數(shù)據(jù)將丟失。要想解決這個場景的問題就需要用到WAL（Write-Ahead-Log），tableDesc.setDurability（Durability.SYNC_WAL）就是設(shè)置寫WAL日志的級別，示例中設(shè)置的是同步寫WAL，該方式安全性較高，但無疑會一定程度影響性能，請根據(jù)具體場景選擇使用；

setDurability（Durability d）方法可以在相關(guān)的三個對象中使用，分別是：HTableDescriptor，Delete，Put（其中Delete和Put的該方法都是繼承自父類org.apache.hadoop.hbase.client.Mutation）。分別針對表、插入操作、刪除操作設(shè)定WAL日志寫入級別。需要注意的是，Delete和Put并不會繼承Table的Durability級別（已實測驗證）。Durability是一個枚舉變量，可選值參見4.2節(jié)。如果不通過該方法指定WAL日志級別，則為默認(rèn)USE_DEFAULT級別。

3.刪除表

刪除表沒創(chuàng)建表那么多學(xué)問，直接上代碼：

?

4、修改表

4.1.實例代碼

（1）刪除列族、新增列族

修改之前，四個列族：

hbase（main）：014:0》 describe ‘rd_ns:itable’

DESCRIPTION ENABLED

‘rd_ns:itable’， {NAME =》 ‘info’， DATA_BLOCK_ENCODING =》 ‘NONE’， BLOOMFILTER =》 ‘ROW’， REPLICATION_SCOPE =》 ‘0’， V true

ERSIONS =》 ‘10’， COMPRESSION =》 ‘NONE’， MIN_VERSIONS =》 ‘0’， TTL =》 ‘2147483647’， KEEP_DELETED_CELLS =》 ‘false’，

BLOCKSIZE =》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》 ‘true’}， {NAME =》 ‘newcf’， DATA_BLOCK_ENCODING =》 ‘NONE

’， BLOOMFILTER =》 ‘ROW’， REPLICATION_SCOPE =》 ‘0’， COMPRESSION =》 ‘NONE’， VERSIONS =》 ‘10’， TTL =》 ‘2147483647’，

MIN_VERSIONS =》 ‘0’， KEEP_DELETED_CELLS =》 ‘false’， BLOCKSIZE =》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》 ‘tr

ue’}， {NAME =》 ‘note’， DATA_BLOCK_ENCODING =》 ‘NONE’， BLOOMFILTER =》 ‘ROW’， REPLICATION_SCOPE =》 ‘0’， VERSIONS =》

‘10’， COMPRESSION =》 ‘NONE’， MIN_VERSIONS =》 ‘0’， TTL =》 ‘2147483647’， KEEP_DELETED_CELLS =》 ‘false’， BLOCKSIZE

=》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》 ‘true’}， {NAME =》 ‘sysinfo’， DATA_BLOCK_ENCODING =》 ‘NONE’， BLOOM

FILTER =》 ‘ROW’， REPLICATION_SCOPE =》 ‘0’， COMPRESSION =》 ‘NONE’， VERSIONS =》 ‘10’， TTL =》 ‘2147483647’， MIN_VERS

IONS =》 ‘0’， KEEP_DELETED_CELLS =》 ‘true’， BLOCKSIZE =》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》 ‘true’}

1 row（s） in 0.0450 seconds

修改表，刪除三個列族，新增一個列族，代碼如下：

Configuration conf = HBaseConfiguration.create（）;

HBaseAdmin admin = new HBaseAdmin（conf）;

String tablename = “rd_ns:itable”;

if（admin.tableExists（tablename）） {

try {

admin.disableTable（tablename）;

//get the TableDescriptor of target table

HTableDescriptor newtd = admin.getTableDescriptor（Bytes.toBytes（“rd_ns:itable”））;

//remove 3 useless column families

newtd.removeFamily（Bytes.toBytes（“note”））;

newtd.removeFamily（Bytes.toBytes（“newcf”））;

newtd.removeFamily（Bytes.toBytes（“sysinfo”））;

//create HColumnDescriptor for new column family

HColumnDescriptor newhcd = new HColumnDescriptor（“action_log”）;

newhcd.setMaxVersions（10）;

newhcd.setKeepDeletedCells（true）;

//add the new column family（HColumnDescriptor） to HTableDescriptor

newtd.addFamily（newhcd）;

//modify target table struture

admin.modifyTable（Bytes.toBytes（“rd_ns:itable”），newtd）;

admin.enableTable（tablename）;

} catch （Exception e） {

// TODO： handle exception

e.printStackTrace（）;

}

}

admin.close（）;

修改之后：

hbase（main）：015:0》 describe ‘rd_ns:itable’

DESCRIPTION ENABLED

‘rd_ns:itable’， {NAME =》 ‘a(chǎn)ction_log’， DATA_BLOCK_ENCODING =》 ‘NONE’， BLOOMFILTER =》 ‘ROW’， REPLICATION_SCOPE =》 true

‘0’， COMPRESSION =》 ‘NONE’， VERSIONS =》 ‘10’， TTL =》 ‘2147483647’， MIN_VERSIONS =》 ‘0’， KEEP_DELETED_CELLS =》 ‘tr

ue’， BLOCKSIZE =》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》 ‘true’}， {NAME =》 ‘info’， DATA_BLOCK_ENCODING =》 ‘

NONE’， BLOOMFILTER =》 ‘ROW’， REPLICATION_SCOPE =》 ‘0’， VERSIONS =》 ‘10’， COMPRESSION =》 ‘NONE’， MIN_VERSIONS =》 ‘

0’， TTL =》 ‘2147483647’， KEEP_DELETED_CELLS =》 ‘false’， BLOCKSIZE =》 ‘65536’， IN_MEMORY =》 ‘false’， BLOCKCACHE =》

‘true’}

1 row（s） in 0.0400 seconds

邏輯很簡單：

通過admin.getTableDescriptor（Bytes.toBytes（“rd_ns:itable”））取得目標(biāo)表的描述對象，應(yīng)該就是取得指向該對象的指針了；

修改目標(biāo)表描述對象；

通過admin.modifyTable（Bytes.toBytes（“rd_ns:itable”），newtd）將修改后的描述對象應(yīng)用到目標(biāo)表。

（2）修改現(xiàn)有列族的屬性（setMaxVersions）

Configuration conf = HBaseConfiguration.create（）;

HBaseAdmin admin = new HBaseAdmin（conf）;

String tablename = “rd_ns:itable”;

if（admin.tableExists（tablename）） {

try {

admin.disableTable（tablename）;

//get the TableDescriptor of target table

HTableDescriptor htd = admin.getTableDescriptor（Bytes.toBytes（“rd_ns:itable”））;

HColumnDescriptor infocf = htd.getFamily（Bytes.toBytes（“info”））;

infocf.setMaxVersions（100）;

//modify target table struture

admin.modifyTable（Bytes.toBytes（“rd_ns:itable”），htd）;

admin.enableTable（tablename）;

} catch （Exception e） {

// TODO： handle exception

e.printStackTrace（）;

}

}

admin.close（）;