Datenanalyse in Physik und Astronomie

Skript

Die Themen, die in der Vorlesung bearbeitet werden sind hier aufgeführt. Die zugehörigen Vorlesungsskripte sind rechtzeitig vor der Vorlesung verfügbar. Bitte arbeiten Sie die Materialien vor der Vorlesung durch! In der Vorlesung wird der Schwerpunkt auf der Anwendung ausgewählter Inhalte liegen. Anhand von vorgerechneten Beispielen wird der Vorlesungsstoff vertieft. Darüber hinaus sollen die konkreten Anwendungen zur Diskussion anregen und die Methoden hinterfragt werden. Es ist wichtig dass Sie vorbereitet zur Vorlesung erscheinen, damit wir ausreichend Zeit zur Vertiefung des Lehrstoffs haben.

Während der Vorlesung vorgestellte Inhalte werden aufgezeichnet (Video, Audio und Text) und im Anschluss elektronisch zur Verfügung gestellt.

Das Skript ist in englisch verfasst und wir als PDF und als Mathematica Notebook zur Verfügung gestellt. Während der Vorlesung werden die jeweiligen deutschen Fachbegriffe aber auch genannt.

Mathematica Notebooks können Sie auch ohne Mathematica Lizenz mit dem CDF Player anschauen.

Lehrplan/Syllabus

Lehrplan/Syllabus, Mathematica Notebook

Noch unsicher ob der Kurs etwas für Sie ist? Das folgende Quiz ( PDF, NB ) biete eine erste Hilfe zur Selbsteinschätzung. Wenn Sie die Fragen beantworten können sind Ihnen einige Konzepte, die in der Volesung behandelt werden schon vertraut. Wenn Sie bei vielen Antworen unsicher sind, hilft Ihnen die Vorlesung bei der Vertiefung.

Die Videos sind ebenfalls unter folgender YouTube Playlist gesammelt.

Zur vertiefenden Vorbereitung versuche ich externes Material zu ausgewählten Themen zu verlinken. Beispiele dafür sind Lehrvideos, wie von Prof. Jörn Loviscach, aber auch andere.

Liste der Vorlesungstermine

Nr.	Thema	Termin
1	Lecture Notes/Skripte Organisatorisches Lehrplan/Syllabus, Mathematica Notebook Unsure whether to take the course or not? Take the Quiz Introduction to data: Introduction to Data, Mathematica Notebook Datenvisualisierung: Data Visualization, Mathematica Notebook Vorlesungs-Videos: Introduction to Data (Part 1) (24:04) Introduction to Data (Part 2) (13:17) Data Visualization (Part 1) (21:24) Data Visualization (Part 2) (23:57) Data Visualization (Part 3) (09:46) Data Visualization (Part 4) (10:04) Zusätzliches Material/Additional reading Ergänzungen NEW:TED Talk - How to spot a misleading graph 4:09 CSE512 Data Visualization (Winter 2014), University of Washington Khan Academy: Creating and interpreting scatterplots Khan Academy: Box and whisker plots Khan Academy: Frequency tables & dot plots Khan Academy: Creating a histogram Khan Academy: Interpreting a histogram Assignments Assignments are shared and submitted via GitHub Classroom. Use the following Invitation linke for a starter assignment to learng the basics of GitHub and GitHub Classromm Use the following Invitation link for DAAP assignment 1: Intro to data structure and data visualization Q & A Plot-data: 2.9,2.45,2.5,3.5,3.7,3.0,1.75,0.75,0.3,0.2,1.9,1.6,0.5,-0.5,-2.8	09.04.2024 (Q & A: 16.04.2024)
2	Lecture Notes/Skripte Statistics (PDF), Statistics (NB) Vorlesungs-Videos: Statistics (Part 1: Statistics of location) 34:47 Statistics (Part 2: Statistics of scatter) 15:47 Statistics (Part 3: Samples & bias) 21:07 Ergänzungen (Videos von Prof. Jörn Loviscach) 28.01 Varianz, Standardabweichung 13:37 28.02 Varianz, Standardabweichung berechnen 13:13 28.03 Normalverteilung, zentraler Grenzwertsatz 14:58 Wahrscheinlichkeitsbegriffe, Häufigkeit, Bayes, Laplace Kolmogorow-Axiome der Wahrscheinlichkeit Zusätzliches Material/Additional reading Varianz, Standardabweichung einer Zufallsgröße 36:55 Mittelwertbildung verringert Varianz und Standardabweichung 21:30 drei Münzen; Erwartungswert der Standardabweichung der Stichprobe 18:46 Standardabweichung der Lebensdauer 14:14 Erwartungswert, Varianz, Standardabweichung für eine diskrete und eine stetige Verteilung 18:35 Erwartungswert, Varianz, Standardabweichung von drei Münzen13:13 Q & A	16.04.2024 (Q & A: 23.04.2024)
3	Lecture Notes/Skripte Probabilities Part 1 (PDF), Probabilities Part 1 (NB) Probabilities Part 2 (PDF), Probabilities Part 2 (NB) Vorlesungs-Videos: Lecture 4 - Probabilities A 1/5 Lecture 4 - Probabilities A 2/5 Lecture 4 - Probabilities A 3/5 Lecture 4 - Probabilities A 4/5 Lecture 4 - Probabilities A 5/5 Lecture 4 - Probabilities B 1/4 Lecture 4 - Probabilities B 2/4 Lecture 4 - Probabilities B 3/4 Lecture 4 - Probabilities B 4/4 Ergänzungen (Videos von Prof. Jörn Loviscach) Wahrscheinlichkeitsbegriffe, Häufigkeit, Bayes, Laplace Kolmogorow-Axiome der Wahrscheinlichkeit Zusätzliches Material/Additional reading Ergänzungen (Weitere Lehrvideos) Khan Academy: Summarizing center of distributions (central tendency) Khan Academy: Summarizing spread of distributions Khan Academy: Sampling distributions Bozeman Science: Standard Error Wahrscheinlichkeit, Kolmogorow, Ereignis, unvereinbar, unabhängig 35:47 Beispiel Binomialverteilung, Beispiel Laplace-Experiment 23:59 Wahrscheinlichkeit; dreimal würfeln, mindestens eine Sechs 13:07 Wahrscheinlichkeit; einmal Kopf mit idealer Münze und gezinkter Münze 3:39 Wahrscheinlichkeit; Buchstaben für Wort ziehen 2:52 Wahrscheinlichkeit; hundert Bauteile, mindestens eines defekt 15:32 Wahrscheinlichkeit; niemand im Laden 7:45 Wahrscheinlichkeit; Bayes; Verspätung und schlechtes Wetter 6:18 idealer und defekter Würfel; unabhängige und unvereinbare Ereignisse 7:41 überraschende Wahrscheinlichkeiten; Mädchen am Montag 14:00 ideale oder nichtideale Münze fünfmal werfen 36:19 Ergänzungen (Weitere Lehrvideos) Khan Academy: Intro to theoretical probability Khan Academy: Simple probability: yellow marble Khan Academy: Simple probability: non-blue marble Khan Academy: Experimental probability Khan Academy: Theoretical and experimental probabilites Khan Academy: Permutation formula Khan Academy: Combination formula	23.04.2024 (Q & A: 30.04.2024)
4	Lecture Notes/Skripte Wahrscheinlichkeitsverteilungen Probability Distributions, Mathematica Notebook Vorlesungs-Videos: Probability Distributions (Part 1) 16:11 Probability Distributions (Part 2) 43:10 Probability Distributions (Part 3) 24:53 Probability Distributions (Part 4) 13:42 Zusätzliches Material/Additional reading Ergänzungen (Videos von Prof. Jörn Loviscach) Normalverteilung, zentraler Grenzwertsatz, Skizze einer Herleitung 67:20 Normalverteilung in OpenOffice.org, Wahrscheinlichkeitsdichte, kumulierte Verteilungsfunktion Ergänzungen (Weitere Lehrvideos) Khan Academy: Shapes of distributions Khan Academy: Comparing distributions Khan Academy: Normal distributions Khan Academy: Binomial probability Khan Academy: Poisson distribution Khan Academy: Variance of differences of random variables Khan Academy: Central limit theorem Self-study problems and exercises Assignment 2 Assignments are shared and submitted via GitHub Classroom. Use the following Invitation link for DAAP assignment 2: Astronomical Data	30.04.2024 (Q & A: 07.05.2024)
5	Lecture Notes/Skripte Hypothesis Tests Probability Distributions, Mathematica Notebook Hypothesentests bei kategorischen Variablen HTs for categorical variables, Mathematica Notebook Vorlesungs-Videos: Hypothesis Tests (Part 1) 21:33 Hypothesis Tests (Part 2) 24:35 Hypothesis Tests (Part 3) 17:38 Hypothesis Tests (Part 4) 09:46 Hypothesis Tests for Categorical Variables (Part 1) 09:27 Hypothesis Tests for Categorical Variables (Part 2) 18:35 Hypothesis Tests for Categorical Variables (Part 3) 11:08 Hypothesis Tests for Categorical Variables (Part 4) 18:43 Zusätzliches Material/Additional reading Khan Academy: Confidence intervals (one sample) Khan Academy: Significance tests (one sample) (one sample) Khan Academy: Significance tests and confidence intervals (two samples) Khan Academy: Analysis of variance (ANOVA) Khan Academy: ANOVA 1: Calculating SST (total sum of squares) Khan Academy:ANOVA 2: Calculating SSW and SSB (total sum of squares within and between) Khan Academy: ANOVA 3: Hypothesis test with F-statistic Khan Academy: Margin of error 1 Khan Academy: Margin of error 2 Khan Academy: Standard error of the mean Khan Academy: Hypothesis testing and p-values Khan Academy: Idea behind hypothesis testing Khan Academy: One-tailed and two-tailed tests Khan Academy: Z-statistics vs. T-statistics Khan Academy: T-statistic confidence interval Khan Academy: Inference for categorical data (chi-square tests)	07.05.2024 (Q & A: 14.05.2024)
6	Lecture Notes/Skripte Korrelationen Correlation, Mathematica Notebook Vorlesungs-Videos: Correlation (Part 1) 17:15 Correlation (Part 2) 35:46 Correlation (Part 3) 23:23 Correlation (Part 4) 07:52 Zusätzliches Material/Additional reading Khan Academy: Correlation and causality Self-study problems and exercises Assignment 3 Assignments are shared and submitted via GitHub Classroom. Use the following Invitation link for DAAP assignment 3: Bayesian statistics, samples statistics and tests Q & A	14.05.2024 (Q & A: 21.05.2024)
7	Lecture Notes/Skripte Fehleranalyse Error Analysis, Mathematica Notebook Vorlesungs-Videos: Error Analysis (Part 1) 09:26 Error Analysis (Part 2) 16:20 Error Analysis (Part 3) 18:01 Zusätzliches Material/Additional reading Khan Academy: Correlation and causality Q & A {{2.5, 2.4}, {.5, .7}, {2.2, 2.9}, {1.9, 2.2}, {3.1, 3.}, {2.3, 2.7}, {2., 1.6}, {1, 1.1}, {1.5, 1.6}, {1.1, .9}};	21.05.2024 (Q & A: 28.05.2024)
8	Lecture Notes/Skripte Regressionsanalyse Regression Analysis, Mathematica Notebook Vorlesungs-Videos: Lecture 10 - Linear regression (Part 1) 09:09 Lecture 10 - Linear regression (Part 2) 17:34 Lecture 10 - Linear regression (Part 3) 20:41 Lecture 10 - Linear regression (Part 4) 09:15 Lecture 10 - Linear regression (Part 5) 29:09 Zusätzliches Material/Additional reading Khan Academy: Advanced regression (inference and transforming) Khan Academy: Squared error of regression line Khan Academy: Proof (part 1) minimizing squared error to regression line Khan Academy: Proof (part 2) minimizing squared error to regression line Khan Academy: Proof (part 3) minimizing squared error to regression line Khan Academy: Proof (part 4) minimizing squared error to regression line Khan Academy: Regression line example Khan Academy: R-squared or coefficient of determination Khan Academy: Second regression example Khan Academy: Calculating R-squared Khan Academy: Covariance and the regression line Self-study problems and exercises Assignment 4 Assignments are shared and submitted via GitHub Classroom. Use the following Invitation link for DAAP assignment 4: Correlation and PCA Q & A MNIST Data: MNIST.zip alternatively: MNIST images (CSV): images.csv, MNIST image labels (txt): imagelabel.txt Spectrum Data: test_dataset.fits Faces Data: faces94.tar.gz	28.05.2024 (Q & A: 04.06.2024)
9	Lecture Notes/Skripte Modellanalyse, Parameterbestimmung Data Modelling and Parameter estimation, Mathematica Notebook Vorlesungs-Videos: Lecture 11 - Data Modelling and Parameter Estimation (Part 1/3) 31:56 Lecture 11 - Data Modelling and Parameter Estimation (Part 2/3) 18:42 Lecture 11 - Data Modelling and Parameter Estimation (Part 3/3) 11:26 Zusätzliches Material/Additional reading Khan Academy: Pearson's chi square test (goodness of fit) Bozeman Science: Chi-squared Test Q & A Data: gauss.dat (CSV), gauss_w_err.dat (CSV)	04.06.2024 (Q & A: 11.06.2024)
10	Lecture Notes/Skripte Interpolation and Smoothing PDF, Mathematica Notebook Vorlesungs-Videos: Lecture 12 - Interpolation and Smoothing (Part 1/6) 24:47 Lecture 12 - Interpolation and Smoothing (Part 2/6) 19:33 Lecture 12 - Interpolation and Smoothing (Part 3/6) 18:26 Lecture 12 - Interpolation and Smoothing (Part 4/6) 26:59 Lecture 12 - Interpolation and Smoothing (Part 5/6) 11:17 Lecture 12 - Interpolation and Smoothing (Part 6/6) 33:03 Zusätzliches Material/Additional reading Assignment 5 Assignments are shared and submitted via GitHub Classroom. Use the following Invitation link for DAAP assignment 5: Model fitting Q & A hubble_orig.dat errors_x_y.dat	11.06.2024 (Q & A: 18.06.2024)
11	Lecture Notes/Skripte Singulär Wert Zerlegung, Singular Value Decomposition PDF, Mathematica Notebook Vorlesungs-Videos: Lecture 13 - Singular Value Decomposition (Part 1/4) 19:00 Lecture 13 - Singular Value Decomposition (Part 2/4) 05:15 Lecture 13 - Singular Value Decomposition (Part 3/4) 12:04 Lecture 13 - Singular Value Decomposition (Part 4/4) 17:36 Zusätzliches Material/Additional reading Khan Academy: Polynomial approximation of functions (part 1) Khan Academy: Polynomial approximation of functions (part 2) Khan Academy: Polynomial approximation of functions (part 3) Data Fitting: Polynomial Fitting and Splines, Part 1 Data Fitting: Polynomial Fitting and Splines, Part 2 Data Fitting: Polynomial Fitting and Splines, Part 3 Data Fitting: Polynomial Fitting and Splines, Part 4 Khan Academy: Introduction to the convolution	18.06.2024 (Q & A: 25.06.24)
12	Lecture Notes/Skripte Gaußsche Prozesse Gaussian Processes, Mathematica Notebook Vorlesungs-Videos: Lecture 14 - Gaussian Processes (Part 1/6) 15:26 Lecture 14 - Gaussian Processes (Part 2/6) 23:05 Lecture 14 - Gaussian Processes (Part 3/6) 07:35 Lecture 14 - Gaussian Processes (Part 4/6) 10:40 Lecture 14 - Gaussian Processes (Part 5/6) 08:11 Lecture 14 - Gaussian Processes (Part 6/6) 24:37 Zusätzliches Material/Additional reading Multivariate Gaussian - definition Multivariate Gaussian - examples and independence Gaussian Processes 1 - Philipp Hennig - MLSS 2013 Tübingen Machine learning - Introduction to Gaussian processes ML Tutorial: Gaussian Processes (Richard Turner) A Visual Exploration of Gaussian Processes Gaussian processes (Jupyter/python code) Q & A PDF file of on-site exercise Data files Use the following data files to perform the model fits. Test whether gauss2.dat is really a single Gaussian. You can use the python function fitting.LevMarLSQFitter() from from astropy.modeling (import models, fitting) gauss1.dat Which Gaussian profile gives the best fit to the data? gauss2.dat Is a single Gaussian profile a good model for the data? FITS file of the on-site data Evaluation Link	25.06.2024 (Q & A: 02.07.2024)
13	Lecture Notes/Skripte Einführung in Neuronale Netze Introduction to Neural Networks, Mathematica Notebook Vorlesungs-Videos: Lecture 15 - Neural Networks (Part 1/4) 21:07 Lecture 15 - Neural Networks (Part 2/4) 11:17 Lecture 15 - Neural Networks (Part 3/4) 16:06 Lecture 15 - Neural Networks (Part 4/4) 11:11 Zusätzliches Material/Additional reading Tensorflow Playground Adventures learning Neural Nets and Python Introduction To Neural Networks, github repository How Deep Neural Networks Work 3Blue1Brown Videos Aber was ist nun ein neuronales Netzwerk? \| Teil 1, Deep Learning Gradient descent, how neural networks learn \| Deep learning, chapter 2 Was macht Backpropagation wirklich? \| Kapitel 3, Deep Learning Backpropagation calculus \| Deep learning, chapter 4 NEW: One pixel attack \| Just change one pixel and fool the neural network into making crazy predictions Q & A Data: elevation.data (CSV), elevation_XYZ.data (CSV) Assignment 6 Assignments are shared and submitted via GitHub Classroom. Use the following Invitation link for DAAP assignment 6: Interpolation and smoothing	02.07.2024 (Q & A: 09.07.2024)