イーベイがビッグ・データに対峙するためのオープンソース・ツール「パルサー」を提供開始

イーコマースの巨人であるイーベイは、今後ますますユーザから得られるデータと向かい合うことが重要になる。これはコンテントをパーソナライズすることと、何か障害が起きたときに即座に検知できるようにするのが目的だ。そこでエンジニアたちは同社の需要にぴったりなツールを新しく開発した。これはパルサーという。
この新しいシステムの詳細は今日初披露目されたもので、イーベイは誰でもオープンソースのライセンスで利用できるようにした。「パルサーはユーザや出店者の利用状況にリアルタイムでデータ収集および処理を提供します。そこから主要な傾向を導き出し、システムがユーザの購買に至る行動履歴を瞬時に検知して反応するのです」とイーベイのサラッド・マーシイとトニー・ナグはシステムを紹介するブログ記事で述べた。
グーグルはすでに、自社の需要にあわせてストリーミング処理を可能とするシステムを構築している。マイクロソフト、ツイッター、リンクトインも同様だ。今回の発表によって、ビッグ・データを大規模に活用したい企業が利用できるオープンソースのシステムがまたひとつ登場したことになる。
イーベイにとって、（多種多様なデータを保存管理するための）オープンソース・ソフトウェアであるハドゥープの中核を成すマップリデュースのフレームワークは、もはや自社の需要にとって十分ではなくなった。「データ・ボリュームや低レーテンシの状況下においては、これまでのようなバッチ・システムにおける保存および管理という方式では足りず、連動型データ処理が必要となっtきます」とイーベイのマーシイ、ナグ、バーヴェン・アヴァラーニ、シンラン・ワン、ケン・ワン、アナン・ガンガダランはパルサーについて紹介する論文で述べている。
このシステムは既存のオープンソース・ツールであるカサンドラＳQＬデータベースやドルード・データ・ストアなどと統合して作られている。イーベイ社内では、このシステムは幅広く利用されている。
「イーベイでは数多くのチームでこのプラットフォームを活用したソリューションを構築することに成功しています。たとえば、セッション内パーソナライゼーション、広告、インターネット・マーケティング、請求、ビジネス・モニタリングなど枚挙に暇がありません」とイーベイ社員たちはパルサーにかんする論文で述べている。続きを読む
(From the VentureBeat blog post. Thanks to Jordan Novet.)