debiancdn

AWS, Content Delivery Network and Debian

重複排除 for S3

@w_katsuraさんによる重複排除 技術解説 重複排除の単位 – Wataru’s Blog http://t.co/zvWKiqO

これがとてもすばらしいので一読おすすめ。

http://www.opendedup.org/
といったオソ実装も最近あるようなのだ.

この絵。。モロにS3が書いてある。

S3をmountしたいという声は頻繁に聞く。しかしながらS3にPOSIX的な情報をもたせるのはどうにもスジがわるいし、大丈夫だな、という実装にであったことがない。

どうせやるなら、dedupeまでやってしまうほうが潔いかもしれない。S3ChunkStoreというあたりがキモな気がする。

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google フォト

Google アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中