G検定完全攻略問題集

解説

正解：B) 32×32

畳み込み層の出力サイズは以下の式で計算できます：

出力サイズ = (入力サイズ + 2×パディング - フィルタサイズ) / ストライド + 1

この問題では：(32 + 2×1 - 3) / 1 + 1 = (32 + 2 - 3) / 1 + 1 = 31/1 + 1 = 32

パディング=1を使用することで、入力と同じサイズの出力を得ることができます。これは特徴マップのサイズを保持したい場合によく使われる設定です。

解説

正解：A) 勾配消失問題

従来のRNNは勾配消失問題（Vanishing Gradient Problem）に直面します。これは、時系列の長い依存関係を学習する際に、誤差逆伝播の過程で勾配が指数的に小さくなってしまう現象です。

この問題により、RNNは遠い過去の情報を現在の予測に反映させることが困難になります。この問題を解決するためにLSTMやGRUが開発されました。

勾配消失問題は、活性化関数の微分値が1より小さい場合に、多層での合成関数の微分で勾配が小さくなることが原因です。

解説

正解：B) 忘却ゲート（Forget Gate）

LSTMは3つの主要なゲートで構成されています：

• • 忘却ゲート（Forget Gate）：前の時刻のセル状態から不要な情報を削除
• • 入力ゲート（Input Gate）：新しい情報をセル状態に追加するかを決定
• • 出力ゲート（Output Gate）：セル状態のどの部分を出力するかを決定

忘却ゲートは、前の時刻のセル状態 C_{t-1} に対してシグモイド関数を適用し、0〜1の値で情報の保持・削除を制御します。これにより、関連性の低い古い情報を適切に忘れることができます。

解説

正解：B) 注意機構（Attention Mechanism）

Transformerの核心はSelf-Attention（自己注意機構）です。この機構により、シーケンスの各位置が他の全ての位置との関係性を同時に計算できます。

Multi-Head Attentionでは、Query（Q）、Key（K）、Value（V）の3つの行列を用いて以下の計算を行います：

Attention(Q,K,V) = softmax(QK^T/√d_k)V

これにより、RNNのような逐次処理を必要とせずに、並列処理が可能で長距離依存関係も効率的に捉えることができます。GPTやBERTなどの大規模言語モデルの基盤技術です。

解説

正解：B) ジェネレータ（生成器）とディスクリミネータ（識別器）

GANは2つのニューラルネットワークが敵対的に学習を行う構造です：

• • ジェネレータ（Generator, G）：ランダムノイズから偽のデータを生成する
• • ディスクリミネータ（Discriminator, D）：本物と偽物のデータを識別する

学習プロセスでは、ジェネレータは「ディスクリミネータを騙すような高品質な偽データを生成する」ことを目指し、ディスクリミネータは「本物と偽物を正確に識別する」ことを目指します。

この敵対的な関係により、両者が互いに性能を向上させ、最終的に非常にリアルなデータを生成できるようになります。

解説

正解：C) 勾配消失問題の緩和

ResNetのスキップ接続（残差接続）は、勾配消失問題を大幅に緩和することが主目的です。

従来の深いネットワークでは、層が深くなるほど勾配が小さくなり、前層への学習が困難になります。ResNetでは以下の残差学習を行います：

y = F(x) + x

ここで、F(x)は残差関数、xは入力です。この構造により：

• • 勾配が直接的に前層に伝わるパスが確保される
• • 150層を超える非常に深いネットワークの学習が可能になる
• • 恒等写像の学習が容易になる

解説

正解：C) モデルの表現力の向上

バッチ正規化の主な効果は以下の通りです：

• • 学習の安定化：各層の入力分布を正規化することで安定した学習
• • 学習速度の向上：より高い学習率の使用が可能
• • 内部共変量シフトの軽減：各層の入力分布の変化を抑制
• • 正則化効果：過学習の抑制

一方、モデルの表現力の向上は直接的な効果ではありません。バッチ正規化は主に学習プロセスの改善を目的とした手法であり、モデル自体の表現能力を直接向上させるものではありません。

実際には、正規化により表現力がわずかに制限される場合もありますが、それを補って余りある学習効率の向上が得られます。

解説

正解：A) 次元削減・特徴抽出

オートエンコーダで中間層（潜在層）の次元を入力より小さくする構造はUndercomplete Autoencoderと呼ばれます。

この構造の主要な目的：

• • 次元削減：高次元データを低次元の潜在表現に圧縮
• • 特徴抽出：データの本質的な特徴を学習
• • データ圧縮：冗長な情報を取り除いて効率的な表現を獲得

エンコーダが入力を低次元に圧縮し、デコーダがそれを元の次元に復元することで、データの重要な特徴のみを保持する潜在表現を学習します。これはPCAなどの従来手法と異なり、非線形な特徴抽出が可能です。

解説

正解：B) より単純な構造でパラメータ数が少ない

GRU（Gated Recurrent Unit）の主な特徴：

• • 2つのゲート構造：LSTMの3つ（忘却・入力・出力）に対し、GRUは2つ（リセット・更新）
• • セル状態の統合：LSTMのセル状態と隠れ状態を1つに統合
• • パラメータ数の削減：LSTMより約25%少ないパラメータ数
• • 計算効率の向上：単純な構造により高速な学習・推論

GRUはLSTMの機能を保ちながら構造を簡略化したモデルです。多くの場合でLSTMと同等の性能を発揮しながら、計算コストを削減できるため、実用的な選択肢として広く採用されています。

解説

正解：B) 特徴抽出（Feature Extraction）

転移学習には主に2つのアプローチがあります：

• • 特徴抽出（Feature Extraction）：
  • - 事前学習済みモデルの重みを固定
  • - 最終層（分類層）のみを新しいタスクに合わせて学習
  • - 計算コストが低く、小規模データセットに適している
• • ファインチューニング（Fine-tuning）：
  • - 事前学習済みモデル全体を新しいタスクで再学習
  • - より高い性能が期待できるが、計算コストが高い

特徴抽出では、下位層は汎用的な特徴抽出器として機能し、最終層のみがタスク固有の判断を学習します。

解説

正解：B) コンテキストベクトル

Seq2Seqモデルの基本構造：

• • エンコーダ：入力シーケンスを固定長のベクトル（コンテキストベクトル）に変換
• • コンテキストベクトル：入力シーケンス全体の情報を圧縮した表現
• • デコーダ：コンテキストベクトルから出力シーケンスを生成

初期のSeq2Seqでは、コンテキストベクトルがエンコーダとデコーダを接続する唯一の情報伝達手段でした。しかし、このボトルネック問題を解決するために後に注意機構（Attention）が導入されました。

注意機構により、デコーダは各時刻でエンコーダの全状態に直接アクセスできるようになり、長いシーケンスでも性能が向上しました。

解説

正解：B) 過学習の抑制

Dropoutは正則化技術の一種で、主な効果は過学習の抑制です。

Dropoutの仕組み：

• • 学習時に一定確率（例：50%）でニューロンをランダムに無効化
• • 毎回異なるニューロンの組み合わせで学習
• • 特定のニューロンへの依存を防ぐ
• • 推論時はすべてのニューロンを使用（重みを調整）

この手法により：

• • ネットワークの冗長性が向上
• • 汎化性能が向上
• • アンサンブル学習と類似の効果が得られる

Dropoutは特に全結合層で効果的で、CNNの全結合層やTransformerでも広く使用されています。

解説

正解：B) 潜在空間に確率分布を仮定

VAE（Variational Autoencoder）の主要な特徴：

• • 確率的潜在空間：潜在変数を確率分布（通常は標準正規分布）として扱う
• • 変分推論：近似事後分布を用いた変分下界の最大化
• • 生成能力：潜在空間からサンプリングして新しいデータを生成可能
• • 正則化効果：KLダイバージェンスによる潜在空間の正則化

通常のオートエンコーダとの違い：

• • 通常のAE：潜在変数は決定的な値
• • VAE：潜在変数は平均と分散で表現される確率分布

これにより、VAEは単なる再構成だけでなく、新しいサンプルの生成も可能な生成モデルとして機能します。

解説

正解：B) 機械翻訳

Encoder-DecoderアーキテクチャはSequence-to-Sequence（Seq2Seq）タスクに特に有効です。

主要な応用分野：

• • 機械翻訳：ある言語の文章を別の言語に変換
• • 文章要約：長い文章を短い要約に変換
• • 音声認識：音声信号を文字列に変換
• • チャットボット：質問に対する回答を生成
• • 画像キャプション生成：画像から説明文を生成

このアーキテクチャの特徴：

• • 入力と出力の長さが異なっても処理可能
• • 異なるモダリティ間の変換も可能
• • 柔軟な出力生成が可能

解説

正解：C) スキップ接続を持つエンコーダ・デコーダ構造

U-Netの特徴的な構造：

• • U字型アーキテクチャ：エンコーダ（収縮パス）とデコーダ（拡張パス）
• • スキップ接続：エンコーダとデコーダの同じ解像度レベルを直接接続
• • 特徴マップの結合：低レベル特徴と高レベル特徴を組み合わせ

この構造の利点：

• • 詳細な局所情報を保持
• • 高レベルの意味情報との統合
• • 精密なピクセルレベルの予測が可能

主な応用分野：

• • 医用画像のセグメンテーション
• • 衛星画像解析
• • 物体検出・セグメンテーション