ビッグ・データは加速する

Big Data Picks Up the Pace - NYTimes.com
わたしたちはビッグ・データの次の段階に向かっているのかもしれない。初期の投資やスタンドアローン型プロダクトから、洗練された利用形態や広範な企業連合の形成へと急速に変化が進んでいる。
水曜日に発表された別々の事業から、そのトレンドが見て取れる。ＳＡＰはドイツの事業開発および解析ソフトウェア企業であるが、このたび同社はリアルタイム利用が可能な解析ソフトウェアの改良版をオンライン化すると発表した。ＳＡＰはＨＡＮＡと呼ばれるプロダクトを独立オンライン開発者が利用できるようにする。
また、スプランクは企業向けソフトウェア・メーカーとしてウェブショッピング利用者のオンラインにおけるクリックや企業のネットワーク性能の診断を取り扱っているが、このたびタブロー・ソフトウェア社との連携を発表。同社は解析およびデータ可視化の企業である。合弁事業により、タブローの最新版プロダクトは直接スプランクに接続されるようになる。
さらに、グッドデータは事業成績データ解析をオンライン・サーヴィスとして提供しているが、このたび解析システムを新規作成し、グッドデータを利用する企業の増加をめざし、併せて独立開発者に向け、同社のデータ配列性能を利用して新しいプロダクトを開発することができるようにする。
「ビッグ・データとリアルタイム演算は合併してきています」と、ＳＡＰのデータベースおよびテクノロジ・マーケティング担当ディレクタのアミット・シンハは語る。「事業向けアプリケーションの進化はシンプルに行なわれる必要があります」
彼が言っているのはあらゆる企業のことを指しているのかもしれない。というのは、企業内のデータは急速に増加し、ビッグ・データの活用範囲は拡張し、さらにプロダクトの選択肢は増している。ということは、選ぶのがむずかしくなるということで、それは至急の対応が必要な場合でも変わらない。成功した企業ほど、その選択は容易となる。
それに取り組む方法は多数ある。スプランクとタブローの場合は、企業連合をめざしているようである。ＳＡＰはコンピュータ・サーバ向けの販売が好調なプロダクトを厳選し、月間レンタル方式で販売することを選んだ。メモリ容量も中小企業から大企業向けまで選択肢を揃えている。ＳＡＰはまた、ＨＡＮＡを多様な用途と価格帯で販売し、低価格を強みとすることで顧客をより多く呼び込む狙いがあるとみられる。
グッドデータはそれとは別のやり方である。同社は３万社がサーヴィスを利用中であると宣伝し、解析エンジンの構築にはオープンソース、自社製、提携先テクノロジの組み合わせを活用しているという。この解析エンジンはヒューレット・パッカードの「ヴァーティカ」製品を採用しており、グッドデータはＨＰにテクノロジの利用料を支払っている。
「この手の解析テクノロジはこれまで、アマゾン型、グーグル型、ネットフリックス型の企業１０社、せいぜい１５社程度しか活用していませんでした」と、グッドデータ首席経営執行役員ローマン・スタネックは語る。「われわれはあらゆる企業に向けプラットフォームを提供します。インフラストラクチャの心配は無用です」
スタネック氏はアマゾン・ウェブ・サーヴィスの黎明期を勝ち抜き、いまや彼の会社はＡＷＳからほぼ独立し、自前のクラウドで運用されている。「前よりも値段が張るようになりましたし、オープンソースのクラウド・テクノロジはどんどん改善しています」と彼はいう。「あと５年もしたら、ＡＷＳはずっとよくなると思いますけど」
ということは、次の競争は始まっているのかもしれない。企業が手を携え、こぞってビッグ・データのプロダクトを従来型事業に提供すべく汎用化、簡易化を進めたとしても、次世代の企業とテクノロジは追い上げてくるのだ。
新興企業の例としてクリアストーリー・データは、企業内データと外部データを結合させることにより、マーケティングや金融政策の意思決定に活用される。また、ワイズ・アイオーは超大型データ向けの高速マシン・ラーニングを運営する。同社はオープンソースのデータ管理システム「スパーク」を利用している。
後発勢力の話からは、あまりに多くのデータが企業に流入してくるので、ほんの２年前に始まったばかりのテクノロジでさえ進化に追いつくのが困難であるという。たとえばワイズ・アイオーは、つい最近まで２０分で処理できた情報が、旧式のシステムでは４か月を要するようになったという。（続きを読む)

We may be heading into the next phase of big data. The early bets and stand-alone products seem to be moving rapidly into more sophisticated uses and broader corporate alliances.

On Wednesday, three separate announcements illustrated the trend. SAP, Germany’s giant business planning and analytics software company, said it is putting a rich version of its real-time analysis software online. SAP is also opening up the product, called HANA, to independent online developers.

In addition, Splunk, which makes corporate software to look at things like a web shopper’s online clicks and a company’s network performance, announced an alliance with Tableau Software, an analytics and data visualization company. In a joint investment, the newest version of Tableau’s product will directly connect to Splunk.

Also, GoodData, which offers data analysis of business performance as an online service, is creating an analytics system that it hopes will attract more businesses to use GoodData, and more independent developers to write new products that use the company’s data-crunching capabilities.

“Big data and real-time processing are coming together,” said Amit Sinha, the director of database and technology marketing at SAP. “The rich business applications need to be delivered in a simple way.”

He could have been speaking for all of the companies, since data inside companies is growing fast, big data capabilities are growing, and the product choices are increasing. That makes it hard to choose what to use, even as the urgency for action increases. It is up to successful companies to make it easier.

There are a lot of ways to try to do that. Splunk and Tableau seem to be going for an alliance. SAP is taking what has been a successful product sold largely inside computer servers, and selling it on a monthly rental basis, with variable memory capacity that could fit either a small business or a large concern. SAP is also selling HANA with different capabilities and costs, perhaps seeking to gain more customers in exchange for generally lower prices.

GoodData has taken a different approach. The company, which claims it has 30,000 companies using its service, built its own so-called analytics engine from a combination of open source, in-house and partner technology. Some of the analytics is done through Hewlett-Packard’s Vertica product, and GoodData will pay H.P. royalties on its use of the technology.
“This kind of analytics technology used to be available for 10 or 15 companies, the Amazons, Googles and Netflix,” said Roman Stanek, the founder and chief executive of GoodData. “We can host a platform for all kinds of companies, and they don’t have to worry about infrastructure.”

Mr. Stanek, an early champion of Amazon Web Services, also said his company was now almost completely off A.W.S. and running its own cloud. “It got expensive, and the open-source cloud technology has become much better,” he said. “In five more years, though, A.W.S. will be great.”

Which points to the next competition, perhaps. Even as companies team up and scramble for features to offer coherent and easier-to-use big data products to ordinary businesses, another generation of companies and technologies is on its way.

New companies like ClearStory Data, which combines external and corporate data for decision making on things like marketing and financial activity, and Wise.io, which runs fast machine learning algorithms for very large data sets, use a newer open-source data management system called Spark.

The upstarts say that so much data is flowing into companies that technologies from just a couple of years ago will have a hard time keeping up. Wise.io, for example, claims it recently did in 20 minutes work that currently takes four months on conventional systems.

(From the "NewYorkTimes" blog post. Thanks to Quentin Hardy.)