- 学部・研究科
Faculty/Graduate School - シ
- 時間割コード
Course Code - 62101
- 科目名
Course title
サブテーマ
Subtitle - 機械学習入門
- 授業形態/単位
Term/Credits - クラス
Class -
- 秋/2
- 担任者名
Instructor - 寺本 央
- 曜限
Day/Period - 木1
- 授業概要
Course Description
到達目標
Course Objectives -
授業種別 / Teaching Types
講義（対面型）
言語 / Language
日本語(Japanese)
授業概要 / Course Description
本講義では、統計的機械学習の数学的枠組みを概説します。仮説クラス（モデル集合）の複雑さを表す指標として、VC次元、Natarajan次元、DS次元、ラデマッハ複雑度などを紹介し、それらを用いて仮説クラスの近似能力と汎化性能のトレードオフを説明します。具体的には、モデルの表現力を上げると近似誤差（バイアス）は減る一方、推定誤差（バリアンス）が増大し過学習につながる現象を示し、目標とする精度を達成するために必要なおおよそのデータ数を見積もる方法について議論します。
また、身近なロジスティック回帰やランダムフォレストといった代表的手法について取り上げ、それらのモデルが持つ複雑さ・汎化性能をどのように評価できるかを議論します。さらに、仮説クラスに先験的な知識や対称性（例えば平行移動不変性など）を組み込んだ場合に、仮説クラスの有効な複雑度がどのように変化するかについて考察します。例えば畳み込みによる重み共有や回転・並進不変なモデルでは、仮説空間が制約されることでモデルの複雑さが低減し、パラメータ数削減や性能向上につながることを示します。
次に、深層学習の数学的理論について概観します。深層学習モデルの近似能力を確認するとともに、なぜ過剰なパラメータ数を持つ深層ニューラルネットワークが高い汎化性能を示すのかという問題について議論します。現在知られている結果では、従来の統計的学習理論だけでは深層学習モデルの汎化能力を十分に説明できないと考えられています。実際、ニューラルネットワークはランダムなラベルでも訓練データを完全に記憶できるほど表現力が高く、正則化などを用いても古典的な理論上の一般化境界ではその汎化性能を説明できません。本講義では、深層学習の最適化と汎化に関する理論は発展途上であることを踏まえ、講義時点で報告されている研究結果を紹介し、現在までに分かっている知見を俯瞰します。
最後に、GAN（敵対的生成ネットワーク）による学習など、従来の統計的機械学習の枠組みでは捉えきれない学習手法を概観します。GANはジェネレータ（生成ネットワーク）とディスクリミネータ（識別ネットワーク）の2つのネットワークが競い合う形で学習する枠組みであり、生成ネットがデータを合成し、識別ネットがそれを本物か偽造か判定するミニマックスゲームとして定式化されます。このようにゲーム理論的手法で学習を行うGANや、その他の強化学習・自己教師あり学習などの手法について、その基本的な考え方と統計的機械学習の枠組みとの差異を紹介します。以上を通じて、機械学習の理論的基盤から最新手法までを幅広く学びます。到達目標 / Course Objectives
①知識・技能の観点：統計的機械学習、深層学習、GANなどの学習枠組みとそれぞれの性能評価手法について説明できる。
②思考力・判断力・表現力等の能力の観点：与えられた課題やデータに対して適切な機械学習手法を判断し選択できる。また、目標とする精度を達成するために必要なおおよそのデータ量を見積もることができる。
③主体的な態度の観点：日々進化する機械学習の新たな手法について、自ら必要に応じて学習し、実践に活用していくことができる。授業手法 / Teaching Methods
・教員による資料等を用いた説明や課題等へのフィードバック
- 授業計画
Course Content -
授業計画 / Course Content
概要に沿い、学生の理解度を確認しながら、授業を進めます。具体的な授業計画は第1回のオリエンテーションの際に示します。
第１回 オリエンテーション
第２回ー第１５回 統計的機械学習の枠組みとその具体例、深層学習およびGAN学習の概観
事前に関大LMSのオンデマンド授業資料を視聴してください。
オンデマンド授業回：オリエンテーション、評価方法の説明(授業動画30分 x 2 + 学習課題30分)授業時間外学習 / Expected work outside of class
本講義を履修するにあたり、線形代数学、確率・統計、微分積分学の基礎知識が必須です。特に、ベクトル・行列の計算、確率分布と期待値・分散、基本的な微分積分の理解は前提とします。これらの知識をもとに理論的な内容を展開するため、事前に復習しておいてください。
- 成績評価の方法・基準・評価
Grading Policies /
Evaluation Criteria -
方法 / Grading Policies
定期試験を行わず、到達度の確認(筆記による学力確認)で評価する。
履修者数が多数になった場合には、成績評価方法を「定期試験（16週目）」に変更することがあります。
成績評価方法が変更になった場合は、インフォメーションシステム等で連絡します。基準・評価 / Evaluation Criteria・Assessment Policy
到達度の確認100%。到達度の確認では到達目標で挙げた3つの観点から能力を問う問題を出題し、その成績で評価します。
- 教科書
Textbooks
教科書は指定しません。統計的学習理論や深層学習に関する日本語の適切な教材が現時点で存在しないため、講義では担当教員が作成したスライド・ノート等を配布し、それに基づいて学習を進めます（必要に応じて適宜資料を配付します）。参考書として、興味のある学生は以下の文献を参照してください（参考文献は試験範囲には含めません）。これらの教科書はオンラインで入手可能です。:
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
Mohri, Rostamizadeh, Talwalkar, Foundations of Machine Learning, 2nd ed., MIT Press, 2018.
-
参考書
References
- フィードバックの方法
Feedback Method 授業中や授業前後の質問、あるいは必要があれば問い合わせのうえ質疑の機会を設ける。
- 担任者への問合せ方法
Instructor Contact オフィスアワー
寺本(teramoto@kansai-u.ac.jp)まで問い合わせてください。必要に応じてミーティング等を設定します。
- 備考
Other Comments 【オンデマンド配信授業回について】
① 配信元：関大LMS
② 配信時期/期限：第１回以前
③ 質問対応：質問は対面授業時または関大LMSメッセージで受け付けます。