SXSWが驚いた新しい咀嚼体験。思いつきから始まった「Phantom Snack」はなぜ実現できたのか

電通 和泉興さま（以下、和泉）：はじまりは僕の「思いつき」です。夜中にポテトチップスを食べてしまって後々背徳感にかられる……なんてことがよくありまして（笑）。お腹は空いていないけど、口さみしいのでサクサク感だけは欲しい。それならば「食べた感じ」になれるものがないかと考えていました。

正直「きっと誰かがやるだろう」と待っていたんですが、なかなか世に出てこないので自分で試しはじめたのが昨年のこと。最新のAIや画像認識の技術が活かせることに気づき、「今ならつくれるかもしれない」と思いはじめたんです。

そこで声をかけたのがクリエイティブ・テクノロジストの斧さんです。彼が「おもしろい！」と言ってくれたので、若い人にも刺さるアイディアだと自信を持つことができました。

電通 斧涼之介さま（以下、斧）：和泉さんからアイディアを聞いて「やります！」と即答しました。すぐにリサーチをはじめ、「MediaPipe（Google社が提供する、画像・動画に関する処理機能をまとめたオープンソースのライブラリ）」や「筋電センサ（筋繊維の活動電位の総和を捉えるセンサ）」、その他昔からある技術の応用など、実現に必要な技術の目星をつけていきました。そのときから、ある程度のできあがりのイメージは頭の中にできていましたね。

和泉：とはいえ本当におもしろいのか確認したくて、会社にプロジェクトとして提案する前にふたりでこっそりプロトタイプをつくってみたんです（笑）。「醤油の匂いを嗅ぎ、ポテトチップスをかむASMRの音を聞きながら口をもぐもぐしてみる」のが意外と良かったので、それと顎の動きを画像認識でかけあわせるために試行錯誤を重ね、3か月ほどでプロトタイプをつくりました。難易度はとても高かったものの、何度も検証できたのは良かったですね。

アートディレクターの矢野さんには客観的な意見ももらいたかったので、プロジェクトが立ち上がり開発が始まってから参加してもらいました。

電通 矢野華子さま（以下、矢野）： 私が参加した頃にはSXSWへの出展も決まっていたので、主に「SXSWの展示としてどうか」という視点で見せ方を考えていきました。「咀嚼の気持ちよさ」「シズル感」というキーワードから「アメリカのダイナー」というコンセプトを定め、その雰囲気をまとったキャラクターを用いて表現をつくりあげていきました。

EDP 有馬新之介（以下、有馬）：これまでにもシステムが絡んだプロジェクトの経験はありましたが、インタラクティブな表現を行うということで日程面で少し不安はありました。でもお話を聞いてみると、つくりたい体験はある意味シンプルでやるべきことも明確だったので、「やれるぞ」と。アートディレクションも既に固まっていたので、できあがりがイメージしやすかったのも助かりました。

和泉：いろいろなものを同時進行でつくる必要があったので、優先順位をつけ、スコープをなるべく細かく切って、それぞれの担当範囲を明確にして進めていきました。ここにいるメンバーだけである程度のものをつくることができたおかげで、スケジュール面でも予算面でもなんとかやりくりできました。

有馬：すべての判断が奇跡的にうまくいったことにも助けられましたね。僕自身としても、「触ったことはないけど、自分でTouchDesignerをやる」という判断をしたのはかなり大きなポイントだったと思います。

有馬：もともとは斧さんが実装される想定でしたが、そのためには斧さんに僕がつくったモーショングラフィックデザインをかみ砕いていただくフローが必要だったんです。TouchDesignerの知見がある斧さんとモーションの知見がある自分とがそれぞれをキャッチアップする手間を考えたときに、「僕がTouchDesignerを覚えるほうが早い」と判断したわけです。正直確証はありませんでしたが、「今回の内容であればいけるかもしれない」と清水の舞台から飛び降りるつもりで提案したことを覚えています。

そこからまずは斧さんに教えてもらった参考書籍を読み漁り、YouTubeの動画を見て基本を把握したあとは、もうやりながら吸収していく感じでした。経験上、ある程度「こうしたらできるだろう」と想像はできたので、あとは必要な機能がどこにあるかを調べながら進めていきました。開発に必要な要素がクリアだったからこそできたことではありますね。

和泉：有馬さんが「TouchDesignerをやる」と言ってくれたときは、僕らと同じようにこの企画をおもしろがってくれているのがわかって嬉しかったですね。僕らにとってもこのプロジェクトの開発はやったことのないことや、やってみないとわからないことだらけ。毎回どきどきしながらチャレンジしているので、有馬さんとも同じ感覚を共有するチームになれたように感じました。

斧：はじめにつくったものはかなりデータが重くなってしまったんです。やりたいことは原理的には達成できているけど、動きがカクカクしてしまって……。ここでも有馬さんの「すべて１からつくり直しましょう」という提案が大きな分岐点になりました。

有馬：もともとはCPUで計算された画像を動かす仕組みを採用していました。でもそれではフルHDの画像を出力して計算することになるため、かなりの負荷がかかっていたんです。これをGPU側で計算をして最後に描画する方式に変更し、無事対処することができました。

実は新卒で入った会社でも、業務のために独学でプログラムを書いていたことがあったんです。そのため、ある程度「プログラミングの考え方」の基礎的な部分が自分の中にあり、ゼロベースではなかったことも、今回なんとかやりきれた要因のひとつではありますね。

矢野： もともとは自分で映像を見て検証しながら、指示を出して斧さんに描いてもらおうと考えていました。ただ、私の頭の中のイメージと斧さんがTouchDesignerで描くものをつなぎ合わせるのはとても難しくて。その部分を有馬さんが担ってくださったので、私は平面のグラフィックデザインとして「気持ちよく、可愛く食感を表現すること」を追及できました。

Phantom Snackは口を開けて噛む「ファーストバイト」と、口を閉じてもぐもぐする「チューイング」の2種類の咀嚼に対応していて、それぞれ動きの表現を変えています。前者はグラフィックの面積が多めで動き自体の変化も大ぶりなのですが、後者はサクサク感を表現するため細やかな動きを採用しています。また、後者の方が行われる回数が多いため、表現のバリエーションをたくさんつくる必要がありました。有馬さんからさまざまなバリエーションのご提案をいただき、「どういうものなら楽しく見えるか」を一緒に考えてつくっていきましたね。

有馬：バリエーションをつくると言っても単純に動きの種類を増やせばいいわけではなく、ランダム性を考慮しなければいけません。同じ考え方のエフェクトでも噛む度に出る位置や色を変えるなど、設計にはとても苦労しました。

実装上、このランダム性はパラメーターで管理しています。たとえばファーストバイトの場合、モーションの動きの大きさは噛む動きの大きさと連動させるのか、固定にするのか、ランダムにするのか。連動要素がエフェクトの個数だった場合は何個から何個まで連動させるのかなど、さまざまな変数について検討する必要があります。

実は当初、ランダム性については簡単に考えていたんです。しかし「中央に置かれる食材の画像にはエフェクトが被らないようにする」などのルールが必要であることがわかってきたため、そのルールに則ったランダムをつくらなければいけなくなります。どこまでをルールで決めて、どこまでをランダムなものにするのか。それを設計する必要があったということですね。基本的には一本線で流れが設計されているモーショングラフィックデザインとは考え方が異なるため、頭の切り替えが必要でした。

和泉：Phantom Snackは「気持ちいい咀嚼」に特化した作品なので、食べ物を見て人間が思い描く食感とグラフィックやモーションをなるべく連動させることがポイントでした。

ただし完全にそれらがリンクしてしまうとちょっとつまらなくて、少しだけズレがあるほうがおもしろいんです。噛む毎に毎回少しずつ違う表現が表れるほうが、「次はどんな動きになるんだろう」という驚きもある。実際の食事でも一口毎に異なる食感を味わっているはずなので、その楽しさを表現することを目指しました。

有馬：まさにそのリンク、つまり「共感覚」の部分が重要で、「噛む」という行為に対する動きの表現としての気持ちよさを意識しながらつくっていきました。

和泉：実際に試した瞬間、みんなの表情がぱっと変わるのが印象的でした。「何これ！？」とびっくりしたような表情で、もうずっと噛みつづけていて。何度も試しては画面の変化も楽しんでいただいて、その反応を間近で見れたのが嬉しかったですね。「日本人以外の人にもおもしろがってもらえるのか」と危惧していたのですが、実際は国籍関係なく楽しんでもらえたように感じました。

斧：多数の方に「ビジュアルが可愛いね」と言っていただきました。音が鳴るだけでなくビジュアライズされたことによって、世界中の人がわくわくしてくださったことを実感できました。

矢野：ブース自体もいい形で注目を浴びていて、4日間長蛇の列が途切れず、計1,000人以上の方に立ち寄っていただけました。他の方の咀嚼の様子がモニター上で華やかに動いているのを見て、「何やってるんだろう？」と足を止める方も多かったですね。

和泉：SXSWへの出展は「本当にこのアイディアが受け入れてもらえるのか」を図るテストの一面もありましたが、これだけの方に楽しんでいただけたので、今後はサービス化も検討していきたいと考えています。試食体験としてクライアントさんに提供したり、スマホアプリにしたり、いろいろな方向性が考えられますね。今回は「食べずに楽しむ」フィットネス的なものでしたが、実際に食べる行為と組み合わせて「噛み心地が変わる」スパイスのようなものとしても広がる可能性を感じています。

また、当初から持っていた構想として医療分野での応用も模索しています。たとえば「噛み応えを楽しめる流動食」などがありえるのではないかなと。エンタテインメントと世の中の役に立つもの、そのふたつの共存を目指したいですね。

斧：「食感が苦手で食べられない」食べ物ってけっこうありますよね。そういった食べず嫌いをサポートする仕組みとしても活用できるかもしれません。

矢野：現地でも「今後どのように活用していくのか」はよく聞かれたのですが、やはりアプリケーションで手軽に使えるようにしたいと思っています。そうなると、より一層モーショングラフィックデザインの重要性が高まるはずです。咀嚼と気持ちよくリンクした動きを楽しんでもらえたら、さらにおもしろくなりそうですよね。

有馬：今回初めてTouchDesignerに挑戦してひとつ形にできたので、またジェネラティブな表現、インタラクティブな表現にトライしてみたいですね。共感覚に対する引き出しをよりたくさん持てるようにして、洗練させていけるといいなと思います。

モーショングラフィックデザインって、個人個人の「気持ちいい」の感覚が基準となることが多いように感じます。それを「この感覚を表現するからこの動きなんだ」としっかり意味づけして積み重ねていく先に、より高度な「気持ちよさ」の表現があるのかもしれません。ぜひ今回のプロジェクトでの経験を、モーショングラフィックデザインのアップデートにつなげていきたいですね。