ようこそ!浜村拓夫の世界へ

    ブログ内検索

    最近の記事

    ブックマーク数の多い記事

    Blog Translation

    Powered By FC2ブログ

    Powered By FC2ブログ
    ブログやるならFC2ブログ


    FC2ブログ LOGIN

    with Ajax Amazon

    スポンサーサイト

    このエントリーを含むはてなブックマーク はてなブックマーク - スポンサーサイト あとで読む
    上記の広告は1ヶ月以上更新のないブログに表示されています。
    新しい記事を書く事で広告が消せます。

    Facebookの分散SQLエンジン「Presto」

    このエントリーを含むはてなブックマーク はてなブックマーク - Facebookの分散SQLエンジン「Presto」 あとで読む
    Facebookが、またまたすごいオープンソースを公開したそうです。

    Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると - Publickey

    Prestoは、アドホックなクエリの結果をインタラクティブに得ることに最適化された分散SQLエンジンです。
    ANSI SQLに準拠し、ジョイン、アウタージョイン、サブクエリ、一般的な集計関数やカウントなどに対応。



    FacebookがオープンソースのSQL対応分散クエリエンジンPrestoを発表、ペタバイト規模のデータ処理も可能

    Prestoの開発は2012年秋からスタートし、2013年の初め頃に最初の運用をスタート、2013年の春にはFacebookのデータ・ウェアハウス全体で運用されるようになりました。
    CPU効率や処理スピードという点でみれば、PrestoはHive/MapReduceを運用するよりも10倍もよい結果を出す、とのこと。
    現在サポートしているのはANSI SQLの部分集合的のようなもので、表結合・表の外部結合・サブクエリ・共通抽出・スカラ関数・近似値検索などが利用可能ですが、結合テーブルのサイズや基数に制限があります。
    クエリ結果はクライアントに流されますが、各テーブルにデータを出力することは現在のところ不可能となっています。

    なお、Prestoはオープンソースのクエリエンジンであり、GitHubにてソースコードを見ることができます。



    米Facebook、ビックデータ向け分散SQLクエリエンジン「Presto」をオープンソースに

    米Facebookは11月6日、大規模データに向けたJavaベースのSQLクエリエンジン「Presto」をオープンソースソフトウェアとして公開した。Hadoopと組み合わせて利用するもので、拡張性と速度を特徴とする。

    Prestoは、Hadoopクラスタ上で管理している大規模なデータセットに対するクエリを実行するためのクエリエンジン。
    Facebook社内におけるインタラクティブなデータ分析のために作られたもので、Facebookのように急速に拡大する組織に合わせてスケールするように設計されているという。
    すでに300PBのデータウェアハウスを含む社内の複数のデータストアで利用されており、1000人以上の社員が毎日3万件以上のクエリをかけているという。
    一日にスキャンする量は合計で1PB以上とのこと。
    Facebook以外にも、米Dropbox、米Airbnbなどが利用している。



    弱小なWebサービスだと、Prestoの出番はないだろうけど、こんな選択肢もあるってことでメモ。

    ビッグデータ解析には縁がないけど、データストレージの使い方には習熟せんとあかん!
    FacebookはデータベースにMySQLを使っているけど、GoogleはMariaDBに移行していくみたい。

    GoogleがMySQLからMariaDBへ内部データベースを乗り換えか

    みんながMariaDBを使い出して、ノウハウが蓄積されてきたら試してみるかな?
    関連記事

    コメント

    コメントの投稿


    管理者にだけ表示を許可する

    トラックバック

    トラックバックURL:
    http://hamamuratakuo.blog61.fc2.com/tb.php/993-0fc3e54d

    FC2Ad

    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。