087
2020.12. 8 (火) 13:50 – 14:30
ビッグデータ
大規模本番環境におけるHDFS Erasure Codingの運用 現状と今後の課題

LINEでは、さまざまなサービスから生成される膨大なデータをHadoopクラスタ上に保存しています。日々増加していくデータ量を削減するために、昨年から約一年間、Hadoop 3で導入されたHDFS Erasure Codingの機能を本番環境で運用してきました。
本セッションでは、私たちがこれまでに遭遇したトラブルやその解決策を紹介します。また、実際に運用してみて感じた、ECの現状と今後の課題についても、お話したいと思います。

内田 早俊

LINE株式会社 Data Platform室 ソフトウェアエンジニア