順位検索ツールの処理フロー

スポンサードサーチ順位検索ツールは、以下のようなデータのやりとりをすることになります。
　

　
ユーザからのリクエストをWebサーバで受けたら、それをトリガにしてYahooに検索に行きます。
WebサーバはYahooからの応答受け取ったあと、それを加工して、ユーザに返します。
　
Yahooへの問い合わせは以下のような応答を想定しています。
　
入力：
検索したいキーワード名
検索順位を調べたいサイトのURL(ドメイン名)
　
出力：
順位
　
自然検索(通常の検索)の場合はこういう入出力を提供してくれるAPIがYahooデベロッパーネットワークで提供されていて、それを使うことで上記の結果を受け取れます。
スポンサードサーチを含む、リスティング広告のAPIもリスティング広告のサイトを見ると存在するみたいなのですが、使用するためには法人登録をしなければならず、かつYahooの審査を経てテクノロジーソリューションパートナーというのにならないとダメみたいです。
ということで個人には敷居が高いのでこのAPIを使うのはあきらめようと思います。
　
　

HTMLパーサを使う

そこで仕方が無いので、APIを使わず
1.人が普通にYahoo検索するようにHTTPリクエストを送信して、
2.Yahooから結果をHTMLで受け取って
3.そのHTMLコンテンツの中から欲しい情報を抜き出す
という方法でデータを取ってくることにします。
　
つまり、以下のようにYahooに普通にHTTPリクエストを送信した結果をHTMLで受け取って、自分が必要なデータだけ切り取って加工するというものです。
「スポンサードサーチ」というキーワードで検索すれば、その下にスポンサーのリストが<li>タグで並んでいるということが分かります。
この必要な部分だけを抜き出す、という作業はプログラムでやることができます。
　

　
文字列操作関数で泥臭くやることもできますが、ここでHTMLパーサを使えばもう少しスマートにできます。
パーサとは「解析する」と訳せばいいでしょうか。
HTMLを構文解析してくれるので、これを使えば簡単な指定で欲しい情報を抜き出すことができます。
　
パーサとは【parser】（パーザ） – 意味/解説/説明/定義 ： IT用語辞典
http://e-words.jp/w/E38391E383BCE382B5.html
　
今回はこれを使いました。
PHP Simple HTML DOM Parser
http://simplehtmldom.sourceforge.net/
　
探せば他にもいろいろなパーサがあります。
もちろん、今回はPHPで作るのでPHPから組み込めるパーサでなければなりません。
Perlで作ってるならPerl対応のHTMLパーサを使う必要があります。
これを使えば、たとえば<li>の中の文字列だって簡単に取ってこれます。
　
まず、yahooにリクエストを送信して結果を$htmlに入れたあと、
[php]
$html = file_get_html("http://yahoo.co.jp/…");
[/php]
　
こんな風に繰り返し処理で使うと<ul>と<li>を探してリストの中身をとってくることができます。
[php]
foreach( $html->find(‘ul’) as $ul )
{
foreach( $ul->find(‘li’) as $li )
{
// $li には<li>と</li>で囲まれた部分の文字列が入っている.
}
}
[/php]
　
こうやってWebサーバで抽出した文字列を適当に加工したり、順位を計算したりしてユーザにHTMLデータとして返せばいいわけです。
　
　
　
過去のエントリ
【連載】Webサービス制作日記#04 データベースを使う
【連載】Webサービス制作日記#03 プラットフォームを決める
【連載】Webサービス制作日記#02 要件を決める
【連載】Webサービス制作日記#01 何を作ろうとしているか

どのツールを使って作るかを決めます。
一度使うと決めたツールは、あとから変えたいと思ってもなかなか変えられないことが多いので、ここはよく考える必要があります。
　

どの言語を使うか? プラットフォームは?

例えばプログラミング言語というツール。
Webプログラミングに適した言語で代表的なものはPHP、Perl、Ruby、Pythonでしょう。
僕はPHPが得意なのでWebアプリケーションはPHPで作っています。
　
簡単にそれぞれの特徴を書くと、
・PHP
　Webプログラミング言語としておそらく最も使われている。初心者が取り組みやすい。
・Perl
　古くから使われている言語なので、歴史のあるWebサービスで使われていることが多い。
　mixiで使われている。
・Python
　歴史は意外と古いらしいが、あまり使われてこなかった。
　Googleが推してる言語なので将来性はあるんかも。YouTubeで使われている。
・Ruby
　国産言語なのでなにかと安心? 実力はあると思うがシェアはそんなに高くないと思う。クックパッドで使われている。
　

プラットフォームを決める

どちらかというと、言語を選択するよりプラットフォームを決める方が先かも知れません。
最近はゼロからガリガリ作り始めるのではなくて、ある程度決まった型(フレームワーク)をうまく利用して作るケースが多いです。
　
今回つくるサービスにはログイン認証機能を導入したいのです。
しかし、この機構をゼロから作るのは結構骨が折れます。
実はログインって、仕組みを考え出すといろいろめんどくさいです。

　
　

上記のように、通常のログインだけでなく以下の考慮が必要です。
・ログインに失敗したらログインできないようにする。
・新規ユーザが登録できるようにする
・パスワードを忘れた人のために、パスワード再発行機能を作る
　
でもこういう処理って、会員制サイトには必ず必要な機能なので、すぐ使える仕組みが用意されていればそれを使う方が便利です。
そういう理由から、すでにログイン機能などが標準で備わっているプラットフォームやフレームワークを使えば楽できるということが分かります。
　
1つの方法としては、ブログシステムのWordPressやCMS(コンテンツマネジメントシステム)のXOOPSを使うという方法。
これらのプラットフォームには既にログイン認証の仕組みは備わっています。
この上にプラグインモジュールとして自作のプログラムを載せれば、自分はログイン機能をわざわざ作らなくても済みます。
　
WordPressはPHPで作られていますし、XOOPSもPHPです。
PHPを使用言語として選ぶ利点は、これらプラットフォームの選択肢が多いという点にあります。
　
しかし、これらはいいことばかりではありません。
CMSやブログシステムは動作が重たくて、ユーザにとって快適ではないかも知れません。
　
そこで、僕の場合はフレームワークという別の手段を使うことにしました。
これはCMSのように完成された形で提供されてはいませんが、ゼロから作るよりは楽です。
お好み焼きで例えれば、
　
CMS、ブログシステム：お好み焼き屋で注文したお好み焼き
プログラミング言語：自宅で作るお好み焼き
フレームワーク：自分で焼く方式のお好み焼き屋
　
しつこく繰り返しますが、うどんで例えれば、
　
CMS、ブログシステム：普通のうどん屋
プログラミング言語：自宅で作るうどん
フレームワーク：セルフ方式のうどん屋
て感じでしょうか… 自分で作らないといけないので完成品をすぐ食べられるワケではありませんが、
自宅で作る場合に比べて皿洗いとか材料調達の手間は省けると。
　
具体的には、
・ログイン、認証の仕組み
・フォームの作成
・データベースへのアクセス
・Javascriptの生成
などが簡単に使える形であらかじめ用意されています。
　

このフレームワークにしても種類がたくさんありますが、僕はこのへんの特徴の違いをよく知らないのでとりあえず有名どころのCakePHPを使うことにしました。
　
言語やプラットフォーム以外にも決めるべきツールがあるので、それは次回に書きます。
　
過去のエントリ
【連載】Webサービス制作日記#02 要件を決める
【連載】Webサービス制作日記#01 何を作ろうとしているか

順位検索ツールの仕様・要件について考えてみます。
　
スポンサードサーチ順位検索ツールで実現できたら嬉しい機能として、以下のような要望をいただいています。
・広告を出している検索キーワードは複数あるので、1つ1つ手で順位をチェックするのはしんどい。
　各キーワードについて、自分のサイトが検索順位のどれくらいの位置にいるのかを簡単に確認したい。
・自サイトの順位の推移を時系列グラフで見たい。
・ライバルサイトと比べて自分のサイトの位置関係を把握したい。
　
これに加えて、
どうせ作るんだったら、ネットショップのオーナーなど同じ機能を欲しがっている人もいそうだから、
不特定多数に公開できる形で作ったらどうかと考えました。
　
そうすると必要になってくる機能は
・複数ユーザに対応できるようにする。
　→ ユーザIDでログインする仕組みが要る。
・会員に対して課金して、採算が取れる仕組みにしたい。ただし無料で使えるサービスも同時に
　作っておいたほうがいいだろう。
　→ 振込みやクレジットカードなど何らかの手段でお金を受け取れる仕組みがいる。
などです。
　
これらの要件を考えると、システム的にも考慮しないといけない点があります。
・時系列グラフ表示するには、毎日定期的にデータを収集する必要がある。
　→ スケジュールでデータを定期的に収集してくる仕組みが必要
・検索データはYahooに問い合わせてとってくるが、その手段を検討する必要がある。
　→ 検索用APIが公開されていればよいが、それがなければ、人がパソコンから手で操作するのと
　同じようにブラウザで表示される画面表示イメージ(HTML)から
　必要な情報をこちらで抜き出す方法でやる必要がある。
・そんなことをしてYahooに怒られたりしないのか？
　→ 怒られないように微妙なサジ加減でやればなんとかなるんじゃないかとｗ
　
こういった要件を満たせるような仕組みを考えていくことになります。
　
ちなみにこのような仕様や要件を決める作業を要求分析と言います。
このあと、設計があってコーディング(プログラミング)、テストという流れでやるのが一般的です。
この図はウォーターフォールモデルという、作業が一直線に進むやり方です。基本的に後戻りをしないやり方です。
　

　
これに対して、スパイラルモデルというのもあります。
これは少しずつ作っていきながら機能をどんどん追加していくやりかたで、どちらかというと計画性のない柔軟に開発できるやり方です。
作って考えて、作って考えて、の繰り返しでどんどん大きくしていく形なので、途中で方針を変えることが比較的容易で、作っているものもイメージしやすいという長所があります。
組込み製品などはウォーターフォールモデルでやることが多いですが、Webサービスなんかは簡単にプロトタイプが作れたりするのでスパイラルモデルでやることが多いんじゃないかと思います。
今回私もスパイラルモデルでやっていこうと思います。

　
< 参考>
プロセスモデル
http://www.ics.kagoshima-u.ac.jp/edu/SoftwareEngineering/process-model.html
　
過去のエントリ
【連載】Webサービス制作日記#01 何を作ろうとしているか