Zur Merkliste hinzufügen
Zurück

 

66937-01 - Vorlesung mit Übungen: Foundations of Deep Learning 6 KP

Semester Herbstsemester 2024
Angebotsmuster unregelmässig
Dozierende Aurelien Lucchi (aurelien.lucchi@unibas.ch, BeurteilerIn)
Inhalt The class focuses on the theoretical concepts behind Deep learning. We will discuss the following concepts:

General introduction to linear networks, activations, etc
Approximation Theory
Complexity Theory
Network Architectures
Optimization
Optimization Landscape of Neural Networks
Neural Tangent Kernel
Regularization
Generalization bounds
Adversarial examples
Lernziele The main goal is to understand the theoretical foundations of Deep Learning.
This includes the following important concepts:
- Universal approximation: can a neural network approximate any arbitrary function?
- Optimization: how do we optimize the parameters of a neural network? what theoretical guarantees do we have about finding a good solution?
- Generalization: under what conditions does the solution of a neural network generalizes to unseen data?
- Adversarial robustness: how robust is a neural network to adversarial attacks?
Bemerkungen Exercise sessions will start the second week of the semester.

 

Teilnahmebedingungen - Machine Learning (classification, regression, kernels, etc)
- Linear algebra
- Calculus, Basic concepts in topology
- Probability theory (random variable, expectation, density, etc)
- Some non-mandatory exercises will require coding in python (reasonable coding skills in another programming language should be sufficient to learn python)

Note that a significant part of the class focuses on understanding theoretical aspects, we will thus be covering proofs that require a good knowledge of the mathematical concepts discussed above.
Unterrichtssprache Englisch
Einsatz digitaler Medien kein spezifischer Einsatz

 

Intervall Wochentag Zeit Raum
wöchentlich Montag 10.15-12.00 Bernoullistrasse 30/32, Hörsaal 103
wöchentlich Donnerstag 16.15-18.00 Spiegelgasse 5, Seminarraum 05.001

Einzeltermine

Datum Zeit Raum
Montag 16.09.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 19.09.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 23.09.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 26.09.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 30.09.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 03.10.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 07.10.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 10.10.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 14.10.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 17.10.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 21.10.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 24.10.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 28.10.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 31.10.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 04.11.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 07.11.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 11.11.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 14.11.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 18.11.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 21.11.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 25.11.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 28.11.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 02.12.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 05.12.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 09.12.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 12.12.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Montag 16.12.2024 10.15-12.00 Uhr Bernoullistrasse 30/32, Hörsaal 103
Donnerstag 19.12.2024 16.15-18.00 Uhr Spiegelgasse 5, Seminarraum 05.001
Module Doktorat Informatik: Empfehlungen (Promotionsfach: Informatik)
Modul: Applications of Distributed Systems (Masterstudium: Computer Science)
Modul: Applications of Machine Intelligence (Masterstudium: Computer Science)
Modul: Concepts of Machine Intelligence (Masterstudium: Computer Science)
Modul: Electives in Data Science (Masterstudium: Data Science)
Modul: Machine Learning Foundations (Masterstudium: Data Science)
Modul: Methods of Machine Intelligence (Masterstudium: Computer Science)
Leistungsüberprüfung Lehrveranst.-begleitend
Hinweise zur Leistungsüberprüfung Continuous assessment

Note the following split:
15% continuous assesment (short exercises and Q&As given in class)
20% homework
30% project (writeup and presentation)
35% written exam

A 50% score on HW sets is required to participate in the final exam. A score of 3 out of 6 is required at the exam to pass the class.

Expected date: Thursday, February 1, 2024, 10-12 a.m.

An-/Abmeldung zur Leistungsüberprüfung Anm.: Belegen Lehrveranstaltung; Abm.: stornieren
Wiederholungsprüfung keine Wiederholungsprüfung
Skala 1-6 0,5
Wiederholtes Belegen beliebig wiederholbar
Zuständige Fakultät Philosophisch-Naturwissenschaftliche Fakultät, studiendekanat-philnat@unibas.ch
Anbietende Organisationseinheit Fachbereich Informatik

Zurück