ZFSでのdeduplication実装

Jeff Bonwick氏の 新しい書き込み でZFSのdedupが話題なっていますね。 deduplication、重複をなくすということですが、これ自身が最近結構話題になっていると思います。 また、これほど早くdedupがzfsで実装されるとは思いませんでした。 Jeffのblogには書いていませんが、OpenSolarisのビルド#１２８に入ってくるそうです。 ZFSはもとともsnapshot/cloneを駆使することで、 使い方によってはかなり重複がさけられる運用ができますが、 これでますます無駄のないストレージの運用プラス速度の向上が見込めますね。 もちろん様々なトレードオフがあるので、 実際の運用にどの方法が適しているのかみてみる必要もあると思いますが。

以下、Jeffのブログの要約です。 英語の参照文も入れおきますので、興味あれば原文を読む時の参考にしてください。 だれか全部訳してくれるまでということで。

• block 単位。

  ZFS provides block-level deduplication because this is the finest granularity that makes sense for a general-purpose storage system.

• dedupはバッチで後から処理する実装と、その場その場で行うのがありますが、 zfsの実装はその場（real time?)です。

  ZFS deduplication is synchronous.

• zpoolではなくzfsに対するプロパティとなり、fs 単位で設定になります。 他のプロパティ同様継承もされます。

  zfs set dedup=on tank

• dedupの検出に省略時はSHA256のハッシュを使いますが、 もしこれでは信用できないと思ったら、実際の中身を比べる方法もあります。

  zfs set dedup=verify tank

• さらに組み合わせも（計算の速いハッシュだけど、確認もする）。

  zfs set dedup=fletcher4,verify tank

• 実装のヒント?

  to use the 256-bit block checksums in ZFS as hash signatures for dedup.