“CliMix”──「漫画×音楽」の可能性。Music Hack Day Tokyo 2015に参加しました! | hajipion.com

先日、Music Hack Day Tokyo 2015 に参加してきました。

その名の通り、音楽系のハッカソン。
テーマは「あなたの考える『音楽の未来』」でした。

つくったもの

僕らのチームは「漫画×音楽」をコンセプトに、『CliMix』(クライミックス)というアプリをつくりました。

CliMix

漫画の各シーンの雰囲気に合わせて最適な曲を流す、電子書籍アプリです。

クライマックスのシーンを壮大な音楽で盛り上げて、読書体験をもっと楽しくします。

最近のラノベはどんどん漫画化していると言われますが、じゃあ漫画もアニメのように振る舞っていいはずだ!という思いつきから作り始めました(笑)

最近のラノベ
(漫画化していくラノベたち)

最終的には「漫画を読んでる最中に音楽が流れる」だけなので使用シーン(つまりデモ)を見ると結構地味ですが、読書体験の幸福度をあげるため、バックエンドはかなり複雑に作りこんであります。

仕組みを順々に書きますね。

まず、アプリ内に作品を追加すると、以下の3つの工程を経て解析が始まります。

1.クライマックスシーン解析
作品(PDFファイル)の全シーンを、docomoの文字認識APIやOpenCVを組み合わせて解析し、コマ割りや文字の大きさなどからクライマックスのシーンを自動抽出します。
 ↓
2.クライマックス曲決定
そのクライマックスシーンの「コマの構成」「キャラクターの表情」などの雰囲気をGracenoteのAPIで扱える楽曲のムードと紐付け、さらにクライマックスシーンの「セリフ」「文字」をキーワードとしてプチリリの同期歌詞取得APIに送り、各シーンにどのような雰囲気の楽曲が最適かが選定されます。
その選定された楽曲タイトルをSpotifyにリクエストし、Spotify内にデータがあればクライマックスシーンに再生される楽曲として決定します。
 ↓
3.BGM決定
さらに、その漫画のジャンルをT-Mediaの作品情報検索APIを使ってゲットし、そのジャンルをGracenoteのAPIで扱える楽曲のムードと紐付けます。
そのデータをSpotifyに送り、作品内全体で再生するBGMを決定します。

図にまとめるとこんな感じです。

CliMix仕組み1

それらの解析が終わったあとに漫画を読むと、各シーンに合わせて最適なBGMが流れ、クライマックスシーンにぴったりの楽曲が再生される、というわけです。

また、ここがこだわりポイントなのですが、クライマックスのシーンにちょうど楽曲の「サビ」が流れるように、「ページをめくる早さ」や、J!NS MEMEでとった「視線の動き」から逆算して、楽曲再生開始のタイミングを決定しています。

CliMix仕組み2

ぶっちゃけ精度はまぁまぁですが、うまくクライマックスシーンにサビが来たとき、具体的にいえば『進撃の巨人』第1話の超でかい巨人が出てくるときに重いエレキギターの音が「ジャーーーーン!」と鳴り響いてロックソングが鳴り響いたときなんかは、チーム内でめちゃくちゃ盛り上がってました(笑)

あと、アオハライドの男性キャラが大きなコマで「会いたい」と言うシーンで、西野カナが「会いたくて~会いたくてふる~える~」が流れて、爆笑。

結果

アイデアを考える時間含めてちょうど24時間くらいでこれをつくり、結果として3つの賞をいただきました。

…トリプル受賞しがちかよ!(cf: TBS TV HACK DAYMashup Award 10

1つ目は「T-MEDIA賞」。

なんと賞品は……

TSUTAYA DISQUS 1年分無料!!

SUGEEEEEEEEEEEEEEEEEEEEEEEEEEEEE

今日から1年間、家から一歩も出ないことを誓いました。

2つ目は「MashupAwards賞」。

賞品は「Mashup Awards 11」の準決勝への出場権利!

今年もあの興奮冷めやらぬ舞台に出られる……決勝いけるようにガンバリマス。

3つ目は「Gracenote賞」。

GracenoteのAPIが神がかりすぎていて、ハッカソンで提供されていたら必ず使っていたのですが、Gracenote賞を取るのはもうこれで3回目……!

僕が英語できたらとっくにGracenoteに転職してます。

賞品はGracenoteのTシャツ!
去年もらったやつは今夏の寝間着になっていますが、今回はデザインも新しくなってました!
Gracenoteのおかげで寝間着に困りません。

余談1

審査員の西村真里子さん(株式会社HEART CATCH 代表取締役)という方、名前だけは知っていたけれど、審査時のコメントを聞いたり実際にお話してみて、サービスやプロダクトの「目的」や包括的な「体験」をきちんと重視していて素敵な人、且つ目標にすべき人だなと感じました。

何かのアクションで音楽を流す、というメディアアートのような作品も評価しつつ、そこに更に突っ込んで「目的」を求める姿勢。

おこがましいけれど僕の考えと似ているところがあって、現在アプリ申請中(Appleからリジェクト食らいまくってる)の INTEMPO も「音楽の手段化」というコンセプトで発表したし、今回の「CliMix」も同様の思想でつくったのです。

「音楽によって何かの課題を解決する」もしくは「音楽によって何かの体験の価値を底上げする」アイデアはまだまだ出せそうだし、何より考えていて楽しいので、Music Hack Day Tokyoが来年もあったらぜひ参加したいなー!

MusicHackDay

テーマが音楽だけあって発表がやたら楽しげで、開発中もみんなわいわいしてたし、夜食のおにぎりやら朝ごはんやら全部美味しかったし、遠足みたいなハッカソンでした。

素敵なひと夏の思い出をくれた、主催のGracenote、Spotify、MA事務局の皆さま、ありがとうございましたm(__)m

余談2

審査員のきゅんくんと写真を撮ってもらった。

きゅんくん

なんか嫌そう

なんか嫌そう。

Hajime Hirono

Written by

広野 萌(ひろの はじめ)

@hajipion

株式会社FOLIO CDO。
1992年2月京都生まれ、早稲田大学文化構想学部卒、ヤフー出身。
UI/UXデザインとコンセプトメイキングが得意です。
代表作に「inShade」「INTEMPO」など。

» 経歴・受賞歴・ポートフォリオ

Related Posts

hajipion.com TOP