2012年5月11日金曜日

Inside Inktomi: エンジニアが語るインクトゥミがグーグルに敗れた理由

検索エンジン業界での経験が長い人にとって、Inktomi という検索エンジンの持つ響きは、ある種の懐かしさとエレジーを呼び起こさせます。


Inktomi は1996年創業のロボット型検索エンジンを提供していた企業で、1998年創業のGoogle より2年先行しています。2002年にYahoo!に買収されるまでの約6年間、検索エンジンの覇権をGoogle に引き渡すまで、検索エンジンの中心に位置していた企業でした。

買収されてから10年経ち、買収元のYahoo! も苦境に立たされる中、当時の Inktomi のエンジニアの一人で、現在LinkdeIn に勤めるDiego Basch(ディエゴ・バッシュ)さんが、当時を振り返り、なぜInktomi は敗れたのか、いかにしてGoogle はInktomi を破ったのかを内部の視点から語っています。


A Relevant Tale: How Google Killed Inktomi - Diego Basch's Blog
http://diegobasch.com/a-relevant-tale-how-google-killed-inktomi

# SEWにも関連記事が出ています。


以下、拙訳で恐縮ですが、原文から幾つか抜き出して抄訳します。

Inktomi was the #1 search engine in the world for a while. When I joined we had just won the Yahoo contract, and were serving search results for HotBot (there is still a search page there!) At first I worked on developing crawling and indexing tools written in C++. Our main goal at the time was to grow our index size, and at the same time to improve relevance. It became clear that as our document base grew, relevance would play a more important role. For ten million documents you may be able to filter out all but a handful of documents with a few well-chosen keywords. In that case any relevance algorithm would do; your desired result would be present in the one and only result page. You wouldn't miss it. For a billion documents however, the handful would become hundreds or thousands. Without a good relevance algorithm, your desired result might be on page 17. You'd give up before getting to it.

Inktomiはしばらくの間、世界でナンバーワンの検索エンジンでした。私がInktomi に入社した時はちょうどYahoo! との契約を獲得した時期で、HotBot に検索結果を提供していた真っ最中でした。(ちなみにHotBotはまだあります) 私の最初の仕事はC++で書かれたクローリングとインデクシングツールの開発に取り組むことで、当時の私たちの主な目標は、インデックスサイズを拡大することと、検索結果の関連性を改善することでした。取り扱うドキュメントが大きくなるにつれて、関連性がより重要な役割を果たすことが明らかになりました。ドキュメントの数が1千万くらいの場合は、どんなアルゴリズムでもキーワードを含むドキュメントの結果を取扱いが可能なレベル、例えば一つの検索結果で表示することができると思います。しかしながら、これが10億くらいのドキュメントになると、出てくる結果は数百もしくは数千となってしまい、欲しい検索結果が17ページ目にある、なんてことが発生します。これではユーザーは希望する結果に辿り着く前に諦めてしまうでしょう。

Yahoo had been complaining to us about not being result #1 for yahoo for a while. We fixed that special case, but we couldn't do the same for many other sites or pages. In 1999 Google was gaining popularity because they were solving exactly this problem. We didn't perceive them as a threat yet, but we did realize that we had to do our own version of PageRank. I was assigned to that task.

Yahooはしばらくの間、検索結果で「Yahoo」が 1位にいないことについて私たちに不満を訴えていました。我々は個別対応で問題を修正することはあっても、他の多くのサイトやページに対して同様の修正を行うことができませんでした。1999年にGoogleはまさにこの問題を解決し、人気を博すことになりました。我々はまだ彼らを脅威として認識していませんでしたが、我々はPageRankのInktomiヴァージョンを作る必要があることを認識しました。そして、私はそのタスクにアサインされていたのです。

Despite our relevance being so great, there was one huge red flag: engineers at Inktomi were starting to use Google as our search engine. Our executives tried to stop us from doing it, just like Bill Gates reportedly banned his kids from using Apple products. I thought about why I was using Google myself, and I'm sure it's obvious to everyone now: the experience was superior.

Inktomi の関連性も非常に高かったのですが、徐々に危険な信号が点滅しだしました。Inktomiのエンジニアが(Inktomiではなく)Googleを使い始めたのです。ビル・ゲイツが自分の子供たちにアップルの製品を使わせなかったように、Inktomi の幹部もそうした行為をやめさせようとしました。私は、なぜ私がGoogle を使うのか考えました。今では誰の目にも明らかなことですが、ユーザー体験が優れていたのです。

  • Inktomi didn't control the front-end. We provided results via our API to our customers. This caused latency. In contrast, Google controlled the rendering speed of their results.

  • Inktomi didn't have snippets or caching. Our execs claimed that we didn't need caching because our crawling cycle was much shorter than Google's. Instead of snippets, we had algorithmically-generated abstracts. Those abstracts were useless when you were looking for something like new ipad screen resolution. An abstract wouldn't let you see that it's 2048x1536, you'd have to click a result.

  • Inktomiは フロントエンドをコントロールしていませんでした。私たちはAPIを通じて検索結果を顧客に提供していました。この方法は待ち時間が発生しました。対照的に、Google はレンダリングの速度をコントロールして検索結果を提供していました。

  • Inktomi はスニペットやキャッシュを保持していませんでした。Inktomi の幹部は "我々のクローリングサイクルは、Google よりもはるかに短いのでキャッシュを必要としなかったと主張していました。我々はスニペットの代わりに、アルゴリズムで生成された要約を保持していました。このような要約は新しいiPadの解像度みたいなものを探したいときには役に立ちませんでした。要約はそれが「2048×1536」であることを示せないので、ユーザーは検索結果をクリックするしかなかったのです。


  • In short, Google had realized that a search engine wasn't about finding ten links for you to click on. It was about satisfying a need for information. For us engineers who spent our day thinking about search, this was obvious.

    要するに、Google は、検索エンジンは別にクリック可能な10個のリンクを見つける機能を提供するものではない、ということに気づいたということです。検索エンジンの役目とは、情報のニーズを満たすことだったのです。毎日検索のことばかり考えていた私たちエンジニアにとっては、自明の理でした。

    Unfortunately, we were unable to sell this to our executives. Doug built a clutter-free UI for internal use, but our execs didn't want to build a destination search engine to compete with our customers.

    残念ながら、私たちはInktomi の幹部にこの事実を納得させることができませんでした。Doug(Doug Cook:同僚のエンジニア)は社内用のきれいなUIをつくりましたが、幹部たちは、Inktomi のクライアントと競合する検索エンジンをつくることに否定的でした。

    Are there any lessons to be learned from this? For one, if you work at a company where everyone wants to use a competitor's product instead of its own, be very worried. If I were an executive at such a company I would follow Yoda's advice: "Do or do not. There is no try." If you're not willing to put in the effort to compete, you might as well cut your losses (like Google did with Buzz, for example).

    この一連の経緯からの学びはあるのでしょうか? 一つは、もしあなたが働いている会社のみんなが、自社製品ではなく競合の製品を好んで使う傾向があったら、それは心配すべき傾向だということです。もし私がそういった会社の幹部だったら、きっとヨーダの "「やってみる」じゃない。「やる」か「やらない」かだ。" というアドバイスに従うでしょう。 もしあなたが競争するための努力が必要な場所に身を置くことを望んでいないなら、止めた方が賢明でしょう。(例えば、Google がBuzz でやったように、ね)

    Of course, this is not the whole story of how Inktomi failed. There was a complicated web of causation that involved timing, bubbles, lack of focus, departures of key executives, etc. . That would be a book that might sell three or four copies at best :)

    もちろん、この話はInktomi が失敗した理由のすべてではありません。タイミング、ネットバブル、フォーカスエリアの欠如、主要幹部の離脱など、様々な複雑な要因がありました。そのうち本にします。頑張っても3-4部しか売れないでしょうけどね :)



    ーーーーー


    以上です。(訳がおかしいところはぜひご指摘下さい)

    ボタンが違った掛け方をされていれば、私たちが当たり前に使っている検索エンジンやウェブの体験は、今とは違った方向に進んでいたかもしれませんね。

    原文では、コメント欄がとても盛り上がっています。何か言いたくなる、伝えたくなる文章です。ぜひ目を通してみてください。



    0 コメント:

    コメントを投稿

    Related Posts Plugin for WordPress, Blogger...