Features

特徴

「リアルタイム3DCGコントロールシステム(R3/アールスリー)」の特徴

現在の3DCGコンサートの主流

事前に観客の反応を予測して映像を作成し、生演奏は映像に合わせて行う。

「R3」の場合

その場でリアルタイムにキャラクターの動きや歌声を操作し、観客の反応や生演奏のタイミングにあわせてキャラクターを動かせる!

「R3」の使用イメージ

生演奏のコンサート(バンド・オーケストラ・合唱など)
インタラクティブなイベント展示
来場者に反応するテーマパークの特設イベント
日によって変化するアート作品の展示
など

Use Cases

システム使用事例

  • 初音ミクR3ライブジェネレーティド

    初音ミクR3ライブジェネレーティド

  • 冨田勲「イーハトーヴ交響曲」

    冨田勲「イーハトーヴ交響曲」

  • 冨田勲「ドクター・コッペリウス」

    冨田勲「ドクター・コッペリウス」

  • BUMP OF CHICKEN「ray」

    BUMP OF CHICKEN「ray」

  • 雪祭初音鑑 in SNOW MIKU 2014

    ベートーヴェン「第九」演奏会

初音ミクR3ライブジェネレーティド

『初音ミク「マジカルミライ 2017」』の企画展ステージで、ギター・ドラムと共演する形で公演。髪の毛などの揺れ動くものは、UNITYのリアルタイム物理で制御。一部楽曲では、初音ミクのモーションを自動生成。また、共演キャラクターにインターネット検索結果を交えた発話機能を持たせ、自律的に初音ミクと会話させる試みも実施した。新たに開発したキューブ型LED照明装置では、照明パターンをMIDI信号で楽曲と同期させることにより、音に合わせた多様な光の効果を演出。さらに、この装置の発光情報をフィードバックし、光に合わせて初音ミクの衣装の光り具合の制御も行った。

▼使用オプション

初音ミク「マジカルミライ 2017」公式ページ

冨田勲×初音ミク「イーハトーヴ交響曲」

オーケストラ・合唱と3DCGの初音ミクのリアルタイム共演を実現させた演目。この演目を実現化させるために「R3」が誕生。複数のMIDIトリガーを操作し、そのテンポデータをマスター信号として駆動させている。マスター信号を受取った発音装置が初音ミクの歌唱を実行し、同じ信号を受け取ったアニメーション装置が舞踏を実行。様々な楽曲シーンで、指揮者の指示するテンポ変化・揺れ・加減速に対応できるよう、オリジナルデータとの差異を収束する機能を持たせている。

▼使用オプション

冨田勲「イーハトーヴ交響曲」公式ページ

冨田勲 追悼特別公演 冨田勲×初音ミク「ドクター・コッペリウス」

「R3」により、3DCGの初音ミクとオーケストラ、バレエダンサーの共演による公演を実現。可変する楽曲テンポにヒューマンクロックで追従させることで、バレエダンサーと息を合わせた初音ミクの歌唱・舞踏を可能とした。同公演のために、3Dホログラム投影装置〔ビーマーベィビイ®〕と、3次元可動式スクリーンシステム〔アステロイダー®〕を開発。新たな舞台装置開発により、未知なる空間演出も実現。

▼使用オプション

冨田勲「ドクター・コッペリウス」公式サイト

BUMP OF CHICKEN「ray」

アーティストと初音ミクのコラボレーション楽曲のプロモーションビデオ収録で「R3」を使用。現実空間でコラボレーションすることにより、後付の映像合成にはない、リアルな共演シーンの映像化を実現。同共演のために、モーションセンサー搭載の実写カメラで視線(位置)情報を測定し、追従してCGキャラクターを移動させる〔カメラワーク〕システムを開発。また、投影用スクリーン〔R3フィルム〕も円筒形に加工。実写カメラに合わせて、意識的に動くかのような初音ミクの姿を実現した。さらに、音声マスター機でのCGキャラクターのコントロールを可能とした。

▼使用オプション

ベートーヴェン「第九」演奏会~世界に広がれ!「とくしま“歓喜の歌”プロジェクト」~

「R3」により、初音ミクとオーケストラ、そして2,000人の合唱とのリアルタイム共演を実現。サプライズでの初音ミク登場のため、映像投影装置として、霧に映像を投影するミストプロジェクションシステム〔Thru Graph〕を採用。生演奏との共演だけでなく、何もない場所に突然現れるという、驚きの演出を実現させた。

▼使用オプション

Basic functions

基本機能

  • ボーン直叩きMIDI制御

    ボーン直叩きMIDI制御

    モーションデータをMIDIデータに変換。DAWから3DCGモーションのボーンを直接コントロール。

  • フェイシャルMIDI制御

    フェイシャルMIDI制御

    歌詞に合わせたリップや、表情の動きをMIDI信号でコントロール。

  • モーションスイッチ

    モーションスイッチ

    元モーションを上書きしてもリズムが崩れない、高精度なリアルタイム物理とスムージング機能を搭載。

  • モーションレゾネーター

    モーションレゾネーター

    複数のモーションを合体し、小さな動きから極端にピークが強調された動きまで、そのブレンド率で動作のダイナミクスを制御。

  • パーツ割込み

    パーツ割込み

    収録されたモーションに、腕だけや足だけの動作を部分割込みさせ、踊りながら手を振るなどの動作をリアルタイムにアディション。

  • リアルタイムオプティミゼーション

    リアルタイムオプティミゼーション

    X軸Y軸ストレッチや、時間軸の自動アクラセラレーション機能で、過酷な現場条件もリアルタイムで解決。

Option

オプション

「R3」と合わせての他、単体でのご利用も可能です。

投影・照明装置

  • R3フィルム

    R3フィルム

    映像投影用に開発した高性能通過スクリーン。軽量で様々なサイズ・形状に加工可能。

    使用事例

    • 『冨田勲「イーハトーヴ交響曲」』映像投影スクリーン
    • ライブ「雪祭初音鑑 in SNOW MIKU 2014」映像投影スクリーン
    • テレビ番組「MTV VMAJ」ステージ演出用の映像投影スクリーン(ダイヤモンド型)
    • ショップ&ミュージアム「雪ミク スカイタウン」内ミニチュアライブシステム常設展示
    • イベント「SNOW MIKU 2015」企画展でのライブシステムミニチュア展示
  • ThruGraph

    Thru Graph(スルーグラフ)

    霧に等身大の映像を投影できる大型のミストプロジェクションシステム。水のミスト化量、霧の厚みと高さは、DMX信号でリモートコントロール可能。

    ThruGraph資料(PDF)

    使用事例

    • 『ベートーヴェン「第九」演奏会』初音ミク映像投影スクリーン
    • イベント「SNOW MIKU 2015」企画展でのシステム展示
  • ビーマーベィビイ

    ビーマーベィビイ®

    従来のスクリーンと全く異なる独自素材で、光の反射を用いて空中に映像を映し出す3Dホログラム投影装置。ミニチュアサイズでの対応も可能。

    使用事例

    • 『冨田勲「ドクター・コッペリウス」』映像投影装置
    • 「初音ミク×手塚治虫展-冨田勲が繋いだ世界-」3DCGミニシアター投影装置
  • ThruGraph

    アステロイダー®

    モーター制御により、3次元的に形状を変えられるスクリーン。リアルタイムに形状を変化させることも可能。ミニチュアサイズでの製作にも対応。

    使用事例

    • 『冨田勲「ドクター・コッペリウス」』映像投影装置
  • キューブ型LED照明装置

    キューブ型LED照明装置

    LEDバーでキューブを構成した照明装置。照明パターンをMIDI信号で楽曲と同期させ、音に合わせた多様な光の効果を演出できる。この装置の発光情報をフィードバックすることにより、光に合わせて3DCGキャラクターの衣装等の光り具合も制御可能。

    使用事例

    • 『初音ミク「マジカルミライ 2017」』企画展ステージ「初音ミクR3ライブジェネレーティド」

機能・サービス

  • カメラワーク

    カメラワーク

    モーションセンサー搭載の実写カメラで視線(位置)情報を測定し、追従してCGキャラクターを移動させる〔カメラワーク〕システム

    使用事例

    • 『BUMP OF CHICKEN feat. HATSUNE MIKU「ray」』プロモーションビデオ
  • モーションキャプチャーの収録

    モーションキャプチャーの収録

    自社でのモーションキャプチャー収録に対応。手軽な収録やキャプチャーデータを使った各種コンテンツ製作が可能。

    モーションキャプチャー収録資料(PDF)

    使用事例

    • 大型ビジョン用映像「ファイターズ讃歌 雪ミクver.」モーション収録
    • 「La, La, Love Youで踊ってみた!北洋銀行✕雪ミク 北海道新幹線開業応援ムービー」ビデオ内キャラクターモーションを収録。動画
    • NHK音楽祭特別企画・NHK交響楽団創立90周年記念 CLASSICS×POPS with SPECIAL ARTISTS キャラクターのモーション収録。

Other technical development

その他技術開発

上記以外の技術開発にも対応可能です。

  • 放送収録ARシステム

    放送収録ARシステム

    ステージ上のARマーカーを実写カメラで捉え、位置、角度、ズーム情報を取得し、3DCGキャラクターと実写映像を合成。

    使用事例

    • テレビ番組『題名のない音楽会「冨田勲の音楽会」』映像合成
  • R3VJ(β version)

    R3VJ(β version)

    DJプレイに追従して3DCGモデルが踊り、バックの映像が変化するVJシステム。スマートフォンにインストールしたアプリで解析を行い、曲の盛り上がりやカメラで認識した色情報によって、3DCGモデル・背景を変化させることができる。(プロデュース:SONICWIRE

    R3VJ(β version)公式ページ

クリプトン・フューチャー・メディア株式会社

© Crypton Future Media, INC. www.piapro.net