OpenCV/OpenGLによる映像処理(3年後期実験課題) のオンライン化

2020年度TA:矢作 優知,宮澤 要二

実験担当教員:苗村健

はじめに

苗村研究室では,「OpenCV/OpenGLによる映像処理」という実験を工学部電気系の3年生を対象に実施している.この実験は昨年まで,教室に実験に参加する学生が集まり作業をする形で実施してきた.その中で,ひとりで黙々と取り組むのではなく周りの人と相談をしながら実験を進めることを促してきた.しかし,2020年度の実験はCOVID-19の流行の影響でオンラインで実施することとなり,オンライン環境で相談のしやすい環境を模索する必要が生じた.本記事では,オンラインでも教室と同様に相談しやすさを向上させるために工夫したことや,それに対する学生の反応をまとめる.

実験の概要

「OpenCV/OpenGLによる映像処理」は東京大学工学部電気系2学科の後期実験課題の1つである.本実験では映像処理ライブラリの基本を習得した上で,個人で自由課題形式でアプリケーションの開発を行う.本実験の概要を表1にまとめる.実験は同一の内容で2ターム行われ(以下,前半の回を第1ターム,後半の回を第2タームと呼ぶ),合計50名の学生が25名ずつに別れて参加した.

表1:実験の概要
項目 内容
授業名 電気電子情報実験・演習第二
実験課題名 OpenCV/OpenGLによる映像処理
対象 電気系2学科の3年生
学生数 25人 x 2ターム
TA数 主担当:2人,補助:2人
ねらい 物理・数理の側面 ・視覚情報の物理的性質(光学・幾何学)について学ぶ.
・視覚情報のコンピュータによる取扱い(信号処理・パターン認識・グラフィックス表現)について学ぶ.
ものづくりの側面 カメラからの映像の取得,コンピュータ内部での信号処理・パターン認識,および3次元グラフィックスを含めた映像生成の一連の流れを体験し,自由課題でそれらを組み合わせたものづくりを実践する.
実技の側面 ・カメラの仕組みから,信号処理やパターン認識および,コンピュータによる映像生成の基礎を学ぶ.
・処理結果が目に見えて分かりやすい映像を題材としたプログラミング演習により,プログラミングのスキルアップを図る.

実験は10日間で行われ,1回の実験の長さは2コマ(90分 x 2)である.実験課題は共通課題と自由課題の2つから構成されている.学生はまず指導書に示される10個の共通課題に取り組むことで,映像認識のためのOpenCVと,映像合成のためのOpenGLの基礎を学ぶ.その後,OpenCV・OpenGLで何ができるのかを理解した上で,自由課題に取り組む.自由課題では,自分自身の発想で対話的アプリケーションを制作する(*1).そして,制作した作品について最終日にプレゼンテーションを行う.プレゼンテーションの際は作品が実際に動いている様子を収録したビデオデモも披露する.実験のスケジュールを表2に示す.

*1: OpenCVライブラリの中から高度な機能を1つ選択し,手法の原理を解説する課題も設けているが,本年度にこの課題を選択した学生はいなかった.

表2:実験のスケジュール
日程 実施内容
第1日目 ガイダンス
環境整備(OpenCV/OpenGLインストール)
第2日目 OpenCVの学習
課題1-1, 2(簡単な画像処理,インタフェース)
第3日目 OpenCVの学習
課題1-3, 4(動画の取得,動画像の処理)
第4日目 OpenCV/OpenGLの学習
課題1-5, 6(動画像の認識,2次元図形の描画)
第5日目 OpenGLの学習
課題1-7, 8(3次元図形の描画,複数物体の扱い)
第6日目 OpenGLの学習
課題1-9, 10(光源と材質,テクスチャマッピング)
第7日目 自由課題(アプリケーション制作)
第8日目 自由課題(アプリケーション制作)
第9日目 自由課題(アプリケーション制作)
第10日目 成果発表会

各回の実験は表3のように進行した.Zoomのメインルームに集合した後,ブレイクアウトルームに別れて演習に取り組み,最後にその日のまとめとして試問を行った.

表3:各回の内容
過程 学習活動
実験開始前 学生がOpenCV/GL実験のZoom会議室に入室して待機する
導入
10分
出席確認,TAからのアナウンス,各日の課題に関する説明を全体に対して行う
演習
130分
ブレイクアウトルームに別れて各自課題に取り組む
各自の状況に応じて他の学生やTAと相談をする
試問
40分
TAが各ブレイクアウトルームに順に入室し,試問を行う.
共通課題:取り組んだ共通課題に関する試問を受け,基礎的事項の理解を確認する
自由課題:制作の状況を報告し,TAから助言を受ける

用いたツールとその活用方法

2020年度はCOVID-19の影響でオンラインで実施した.オンラインで実験を行うために用いたツールとその活用方法について述べる.

Zoom

Zoomが大学で標準的に用いられているビデオ会議ツールであったため,学生同士および学生とTAとのコミュニケーションはZoomを用いて行った.表3に示した通り,学生が集合してアナウンス等を行ったのち,学生をブレイクアウトルームに割り当てる.共通課題・自由課題のいずれも個人で取り組む内容であるが,学生同士で相談をしながら取り組むことを推奨した.TAはブレイクアウトルームを巡回し,学生からの質問を受け付けた.試問の時間には,TAがブレイクアウトルームに入室して1人ずつ課題に関する質問を行ったり,制作状況の報告を受けたりした.

演習時間中のブレイクアウトルームの構成を図1に示す.第1タームでは5つのブレイクアウトルームを作成し学生を5人ずつ割り当てた.TA2名はそれぞれ部屋を巡回し質問を受け付けるようにした.TAが部屋にいない時に質問をしたくなった場合は「サポートを求める」ボタンを押してTAを呼ぶよう指示した.一方,第2タームでは6つのブレイクアウトルームと1つの質問ルームをもうけた.これは第1タームの経験からわかった,以下の2つ理由からである.

  • 「サポートを求める」ボタンを押すとホストが呼ばれるが,ホストになっているTAが他の学生の対応をしている場合は助けに行くことができなかった.また,対応しに行けない場合にもう一人のTAに対応を依頼することには手間がかかった(TA同士もそれぞれ遠隔地から参加していたため).
    • → Zoom 5.3からは参加者が自由に部屋を移動できる機能が追加されたためこれを活用して,必要なタイミングで質問ルームに自ら移動する仕組みに変更した.学生は「サポートを求める」ボタンを押す代わりに質問ルームへの移動操作を行う.「サポートを求める」の場合は対応中でTAが来られない場合もその理由がはっきりわからなかったが(リクエストが拒否されたことしかわからない),すでに他の学生の対応をしていることがルームに入ることでわかる.TAはホストであるかどうかにかかわらず学生を待つことができたり,ブレイクアウトルームにいる参加者一覧を見ることで複数人が質問ルームに来ていることなどを,質問ルームにいなくても把握することができるようになった.
  • TAの数が2人であったため,部屋の数が偶数個の方が試問がスムーズに行えたから.部屋が5つの場合最後の部屋にTA2人が同時に入室してしまい混乱があった.

ブレイクアウトルームのメンバーは,第1タームでは毎回無作為に決定し,第2タームでは3回ごとに無作為に組み替えた.電気系学科には100名以上の学生が所属しているため,お互いに面識のない学生同士が同じ部屋に割り当てられる場合もある.そのため,ブレイクアウトルームに入室した直後にはアイスブレイクを行った.第1タームでは毎回組み替えていたため自己紹介のみとしていたが,第2タームでは自己紹介に加えて「好きなCG, CVを使ったアプリはなんですか?」などのテーマを設定してアイスブレイクを行った.

また,そのほかに相談のしやすさを向上させることを意図して行った工夫として,TAのブレイクアウトルーム入室時のアクションと,相談に関する説明がある.第1タームでは入室時に特に何もせず,学生から声をかけられるまで待機していたが,第2タームでは入室時に「TAの〇〇です.しばらくこの部屋にいるので聞きたいことがあれば声をかけてください.」などと声をかけるようにした.また,第1ターム終了後のアンケートで「全員がミュートの状態で話し始めるのは難しかった」というような記述が複数見られたため,第2タームでは実験初回の説明で常時マイクオンにすることを推奨し,雑談をすることがあっても良いと伝えた.また,15分程度悩んでも解決しないことがあれば相談をするよう勧めた.説明のスライドを図2に示す.

以上のZoomの使い方に関する,第1タームと第2タームの実験の設計の差異を表4にまとめる.

表4:第1タームと第2タームの差異

第1ターム 第2ターム
グループサイズ 5グループ(5人) 6グループ(4 or 5人)
グループの組み替え 毎回 3回に1回
アイスブレイク 自己紹介のみ 新しいグループを組んだ回
自己紹介
+
1回目:好きなCG, CVアプリ
2回目:CVGL実験を3回取り組んでみての感想.
3回目:自由課題の案
そのほかの回:課題の進捗状況
TAの巡回 常時2人が巡回 1人は質問ルームで待機
学生が部屋を自由に移動でき,質問がある時は質問ルームへ移動できる
TAの入室時のアクション なし 声を掛ける
相談に関する説明 学生同士での相談を勧める 常時マイクオンを推奨(常時オンにして雑談もOKと説明)
15分悩んだら相談する

Slack

実験時間外のコミュニケーションやブレイクアウトルームに別れた状態で全体にアナウンスをする場合にはSlackを活用した.

Live Share

ソースコードを参照しながら相談ができるよう,MicrosoftのVisual Studio及びVisual Studio CodeのLive Shareを用いた.Zoomの画面共有を用いてソースコードを示すこともできるが,Live Shareでは共有されている側がスクロールして任意の行を調べたり,別のファイルを開いたりすることも可能である.デバッグを行う際は共有する側が疑っていない箇所にバグが埋め込まれている可能性もあるため,共有されている側が自由にコードを参照できると有用であると考えた.

Live Shareの利用経験がない学生でも使えるよう,実験初回にはLive Shareの使い方の説明とデモを行った.なお,Visual Studio Code以外のテキストエディタを愛用する学生に配慮して,Live Shareを用いる時以外は自由なエディタを用いて良いことを伝えた.

相談しやすさの評価結果

実験に参加した学生を対象に,成果発表会終了後に授業アンケートを実施した.学生に回答内容が実験の成績評価に関係しないことが伝えた上で回答を依頼した.回答は無記名で行われ,Google Formを用いて回収した.

「オンラインで実施しましたが,実験を進める上で難しかった点を教えてください」という自由記述項目への回答を分類した結果を表5に示す.この結果では,オンライン実験実習を行う上で最も多くの学生が感じる困難は「相談がしにくかったこと」となっている.一方で,第2タームのように実験の設計を変更することでこれらの困難を感じた学生の数が減少し,特に難しかった点はなかったとする学生の数が増えるという結果も得られた.

表5:実験で進める上で難しかった点(抜粋)
回答 第1ターム [個] 第2ターム [個]
相談がしにくかったこと 11 2
特になし + 回答なし 12 20

また,「ブレークアウトルームに分けて実験を行いましたが,周りの学生やTAと実験について相談しやすかったですか?」という質問に対し,7件法(相談しにくかった:1,相談できた:7)で回答を求めた.その評価結果を図3に示す.第1タームの評価値の中央値は3,第2タームの評価の中央値は4であった.マンホイットニーのU検定の結果,第2タームの方が有意水準0.1%で有意に相談しやすさの評価が上昇していた(p=8.75e-5).

考察

授業アンケートの自由記述形式で回答する質問への回答を元に,実験設計の違いがどのような影響をもたらしたかについて検討する.

グループサイズ

1グループの人数を5人から4人に変更した.これは主に試問をスムーズに行うためにグループ数を5から6に変更することがねらいだった.しかしながら,相談のしやすさの評価に関してその理由を尋ねる自由記述項目に対し,グループサイズに関連すると思われる記述として,第1タームでは相談しやすさを2とした学生の「他に人がいるため。」という回答があった.一方で第2タームでは相談しやすさを6および5とした学生それぞれ1人から「少人数で相談しやすかった」という旨の回答があった.このことから,グループサイズの変化が相談しやすさに影響を与えた可能性が示唆された.

グループの組み替え・アイスブレイク

第1タームでは毎回グループを組み替えていたが,第2タームでは3回に1回グループを組み替えるように変更した.これに関連して,第1タームでは相談しやすさを2または3とした学生から相談しやすさの理由として「同じ部屋の学生と面識がないから」という旨の回答が合計4件あった.また,相談しやすさを2とした学生から「数日間はメンバーを固定してほしかった気もします。」という回答もあった.さらに,「TAには相談しやすいが学生同士は相談しにくかった」という回答も2件あった.一方,第2タームでは面識がないことを理由として回答した学生はおらず,相談しやすさを7とした学生からは「TAや学科同期が気さくで話しやすかった」という回答が得られた.TAのみ相談しやすいという回答もなかった.ただし,相談しやすさを5または4とした学生から「グループのメンバーによって相談しやすさに差があった」という旨の回答が合計4件あった.以上のようなことから,グループの組み替え頻度を減らしたり,アイスブレイクを実施したことで相談のしやすさが向上したことが示唆された.一方で全てのグループで相談しやすい環境ができていたわけではないという課題も示された.

そのほかの要因

TAの入室時のアクションや質問ルームを設けたことに関する回答はなかった.一方で,「自由課題の内容が違うため相談ができなかった」という旨の回答が第1タームでは1件,第2タームでは2件あった.お互いに別の課題に取り組んでいる中でどのように相談をするかという点については検討が必要であることが示唆された.

まとめ

本記事ではオンライン実験実習で相談のしやすさを向上させるために試みた工夫と,実験終了後のアンケートの結果を紹介した.Zoomの使い方に関していくつかの工夫をすることで,学生がより相談しやすいと感じるようになっていたことがわかった.一方で,相談しやすさがグループによってばらつきがあったことや,自由課題に関する相談がしにくいことなどの課題が示唆された.これらの結果を参考に,来年度の実験設計について検討したい.また,類似の実験を実施している方の参考になれば幸いである.