先日、Music Hack Day Tokyo 2015 に参加してきました。
その名の通り、音楽系のハッカソン。
テーマは「あなたの考える『音楽の未来』」でした。
つくったもの
僕らのチームは「漫画×音楽」をコンセプトに、『CliMix』（ｸﾗｲﾐｯｸｽ）というアプリをつくりました。
漫画の各シーンの雰囲気に合わせて最適な曲を流す、電子書籍アプリです。
クライマックスのシーンを壮大な音楽で盛り上げて、読書体験をもっと楽しくします。
最近のラノベはどんどん漫画化していると言われますが、じゃあ漫画もアニメのように振る舞っていいはずだ！という思いつきから作り始めました（笑）
（漫画化していくラノベたち）
最終的には「漫画を読んでる最中に音楽が流れる」だけなので使用シーン（つまりデモ）を見ると結構地味ですが、読書体験の幸福度をあげるため、バックエンドはかなり複雑に作りこんであります。
仕組みを順々に書きますね。
まず、アプリ内に作品を追加すると、以下の３つの工程を経て解析が始まります。
１．クライマックスシーン解析
作品（PDFファイル）の全シーンを、docomoの文字認識APIやOpenCVを組み合わせて解析し、コマ割りや文字の大きさなどからクライマックスのシーンを自動抽出します。
↓
２．クライマックス曲決定
そのクライマックスシーンの「コマの構成」「キャラクターの表情」などの雰囲気をGracenoteのAPIで扱える楽曲のムードと紐付け、さらにクライマックスシーンの「セリフ」や「文字」をキーワードとしてプチリリの同期歌詞取得APIに送り、各シーンにどのような雰囲気の楽曲が最適かが選定されます。
その選定された楽曲タイトルをSpotifyにリクエストし、Spotify内にデータがあればクライマックスシーンに再生される楽曲として決定します。
↓
３．BGM決定
さらに、その漫画のジャンルをT-Mediaの作品情報検索APIを使ってゲットし、そのジャンルをGracenoteのAPIで扱える楽曲のムードと紐付けます。
そのデータをSpotifyに送り、作品内全体で再生するBGMを決定します。
図にまとめるとこんな感じです。
それらの解析が終わったあとに漫画を読むと、各シーンに合わせて最適なBGMが流れ、クライマックスシーンにぴったりの楽曲が再生される、というわけです。
また、ここがこだわりポイントなのですが、クライマックスのシーンにちょうど楽曲の「サビ」が流れるように、「ページをめくる早さ」や、J!NS MEMEでとった「視線の動き」から逆算して、楽曲再生開始のタイミングを決定しています。
ぶっちゃけ精度はまぁまぁですが、うまくクライマックスシーンにサビが来たとき、具体的にいえば『進撃の巨人』第1話の超でかい巨人が出てくるときに重いエレキギターの音が「ジャーーーーン！」と鳴り響いてロックソングが鳴り響いたときなんかは、チーム内でめちゃくちゃ盛り上がってました（笑）
あと、アオハライドの男性キャラが大きなコマで「会いたい」と言うシーンで、西野カナが「会いたくて～会いたくてふる～える～」が流れて、爆笑。
結果
アイデアを考える時間含めてちょうど24時間くらいでこれをつくり、結果として3つの賞をいただきました。
…トリプル受賞しがちかよ！（cf: TBS TV HACK DAY、Mashup Award 10）
1つ目は「T-MEDIA賞」。
【MHDT2015】 #ma11 #musichackday 続いて。T-MEDIA賞！！CliMix [ｸﾗｲﾐｯｸｽ]です！おめでとうございます！ 副賞はTSUTAYA DISQUS一年間無料！！！来週からTSUTAYA TVリニューアルもしますよ！
— Mashup Awards (MA) (@mashupaward) August 23, 2015
なんと賞品は……
TSUTAYA DISQUS 1年分無料！！
SUGEEEEEEEEEEEEEEEEEEEEEEEEEEEEE
今日から1年間、家から一歩も出ないことを誓いました。
2つ目は「MashupAwards賞」。
【MHDT2015】 #ma11 #musichackday 続いてMashupAwards賞！！CliMix [ｸﾗｲﾐｯｸｽ]！連続受賞！ 商品は賞金２００万円・・・・の、獲得権利のあるMashupAwards11の予選進出権利！おめでとうございます！
— Mashup Awards (MA) (@mashupaward) August 23, 2015
賞品は「Mashup Awards 11」の準決勝への出場権利！
今年もあの興奮冷めやらぬ舞台に出られる……決勝いけるようにガンバリマス。
3つ目は「Gracenote賞」。
【MHDT2015】 #ma11 #musichackday 続いて、Gracenote賞！！CliMix [ｸﾗｲﾐｯｸｽ]！！トリプル受賞です！！！！おめでとうございます！！！ 選出理由は、ムードテンポだけでなく、セグメンテーション化でサビの特定など高い技術があったことと、
— Mashup Awards (MA) (@mashupaward) August 23, 2015
GracenoteのAPIが神がかりすぎていて、ハッカソンで提供されていたら必ず使っていたのですが、Gracenote賞を取るのはもうこれで3回目……！
僕が英語できたらとっくにGracenoteに転職してます。
賞品はGracenoteのTシャツ！
去年もらったやつは今夏の寝間着になっていますが、今回はデザインも新しくなってました！
Gracenoteのおかげで寝間着に困りません。
余談１
審査員の西村真里子さん（株式会社HEART CATCH 代表取締役）という方、名前だけは知っていたけれど、審査時のコメントを聞いたり実際にお話してみて、サービスやプロダクトの「目的」や包括的な「体験」をきちんと重視していて素敵な人、且つ目標にすべき人だなと感じました。
何かのアクションで音楽を流す、というメディアアートのような作品も評価しつつ、そこに更に突っ込んで「目的」を求める姿勢。
おこがましいけれど僕の考えと似ているところがあって、現在アプリ申請中（Appleからリジェクト食らいまくってる）の INTEMPO も「音楽の手段化」というコンセプトで発表したし、今回の「CliMix」も同様の思想でつくったのです。
「音楽によって何かの課題を解決する」もしくは「音楽によって何かの体験の価値を底上げする」アイデアはまだまだ出せそうだし、何より考えていて楽しいので、Music Hack Day Tokyoが来年もあったらぜひ参加したいなー！
テーマが音楽だけあって発表がやたら楽しげで、開発中もみんなわいわいしてたし、夜食のおにぎりやら朝ごはんやら全部美味しかったし、遠足みたいなハッカソンでした。
素敵なひと夏の思い出をくれた、主催のGracenote、Spotify、MA事務局の皆さま、ありがとうございましたm(__)m
余談２
審査員のきゅんくんと写真を撮ってもらった。
なんか嫌そう。
