Bot3D 2.0 - インターネット通信と放送を融合した「3Dトーキングヘッド」データ放送システム

この研究開発は、情報通信研究機構(NICT)からの平成15年度「通信・放送融合技術開発促進助成金」の交付決定に伴う委託研究開発に基づくものです。

新たな通信放送融合のビジネスモデルが実現できる、データ放送でリアルタイムに放送されるBMLにのせた会話アニメーションデータ(B3MLコンテンツデータ)と、インターネットで配信される3Dモデルデータ(B3MLモデルデータ)を融合し、 CGキャラクターの会話アニメーションと音声をリアルタイムで同期表示する「3Dトーキングヘッド」(会話するバーチャルキャラクター)エンジンの研究開発を行なったものです。

このサイトでは、その成果発表の一環として、開発済みBot3D 2.0 Engineをウェブブラウザ(IE)に対応させ、成果コンテンツをご覧に入れるものです。

始めにモデルデータがロードされ、続いて分割されたコンテンツデータを次々にストーリーミング受信します。インターネット接続が1Mbps以上の環境で ご覧になりますと、ストーリーをとぎらせることなく数分にわたる高精度3Dアニメーションを鑑賞することができます。

Bot3D 2.0の1.0からの変更点

  • トーキングヘッドを用いた高精度、高機能なストーリー再生専用描画エンジンです。
  • 正確なリップシンクデータをコンテンツデータ(RealVoiceファイル)に持たせることができます。
  • 音声ファイルを解析し正確なリップシンクデータを取り出すために、音声認識技術を応用したリップシンクエンジンを開発しました。
  • 感情、動作タグを拡張しました。
  • ビジュアルタグを追加しました。(キャラクター位置、視点、光源位置/色、背景描画等に関するタグ)

テクノロジー --開発内容概要

デモコンテンツ -- 3Dキャラクターによる読み上げコンテンツのデモ

スクリーンショット

#1 #2 #3 #4 #5 #6

メーキング -- Making Of Bot3D 2.0 デモコンテンツ

リアルタイムコンピューターアニメーションにおけるリップシンク方式の考察

B3ML 2.0 RealVoice 1.0 Specification

B3ML 2.0 当初の構想 StoryTellerファイルサンプル/ストーリーボード

行政通信研究機構 平成15年度「通信・放送融合技術開発」
(C)2004 atom Co .,Ltd. All Rights Reserved.