KSKアナリティクスはInfobright社のパートナーです。Infobrightは、MySQL上にビルドされたデータマートやデータウェアハウスのための分析用高速データベースです。

Infobrightデータ圧縮

Infobrightのカラム指向データベースとナレッジグリッドを組み合わせると10倍~40倍のデータ圧縮が実現出来ます。これにより、クエリーのレスポンスが速くなり、ストレージコストを大きく抑えられます。

大量データの管理は大きな課題です。データストレージのコストが下がったとはいえデータは日々増え続けていきます。その一方、ディスクの転送速度があまり上がっていないのでバックアップ時間の拡大や管理費用の追加などさらなる問題を引き起こします。

データ圧縮技術は、急速なデータ増大の問題を抑制してくれます。ディスクの転送速度の進歩よりデータ圧縮技術の進歩の方が速く、Infobrightでは10TBのデータベースが1TBになります。

従来のローベースのデータウェアハウスと違いInfobrightは圧縮アルゴリズムをカラムのデータタイプに変え、カラムデータをストアします。さらに各カラムでは65,536個の値をストアするごとにデータがデータパックに分けられます。その後Infobrightは最適化された圧縮アルゴリズムを適用します。

圧縮結果
Infobrightは平均圧縮比率で10:1を達成しています。例えば、10TBのローデータは平均で1TBのスペースに格納されます。(データパックノードとナレッジグリッドに関するコストも含む)。一方、他のデータベースではインデックスや特別な構造を作成するのに必要な付加的コストが存在するため、データサイズは大きくなってしまいます。圧縮機能のあるDBシステムでさえ1:1の圧縮率を超える事は滅多にありません。

Infobrightではデータタイプとコンテンツにより圧縮率は異なります。加えて、いくつかのデータでは反復的な圧縮により圧縮率が40:1になるものあります。