F6 クリアコード
Big Data/Data Lake

Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク @ 須藤 功平

ビッグデータは現実的な時間で処理できてこそ活きます。処理時間はデータ処理アルゴリズムの計算量だけで決まり…ません!適切なノードにデータを配置しないとそもそもデータ処理できませんが、大量ノードが協調するビッグデータ処理ではデータ移動コストを無視できません。Apache Arrow Flightを使えばネットワーク帯域限界まで高速にデータ転送できます。
このセッションではApache Arrow Flightの仕組みおよび利用例として分散計算プラットフォームApache Arrow Ballistaを紹介します。
須藤.jpeg
須藤 功平
株式会社クリアコード
代表取締役