debiancdn

AWS, Content Delivery Network and Debian

日別アーカイブ: 2011/07/07

重複排除 for S3

@w_katsuraさんによる重複排除 技術解説 重複排除の単位 – Wataru’s Blog http://t.co/zvWKiqO

これがとてもすばらしいので一読おすすめ。

http://www.opendedup.org/
といったオソ実装も最近あるようなのだ.

この絵。。モロにS3が書いてある。

S3をmountしたいという声は頻繁に聞く。しかしながらS3にPOSIX的な情報をもたせるのはどうにもスジがわるいし、大丈夫だな、という実装にであったことがない。

どうせやるなら、dedupeまでやってしまうほうが潔いかもしれない。S3ChunkStoreというあたりがキモな気がする。

広告