MODELLI DI RETI NEURALI AA 2020/21
English version follows
Obiettivi del corso
Obiettivi generali
Acquisire conoscenze di base sui metodi matematici impiegati nella modellistica dell'intelligenza artificiale, con particolare attenzione al "machine learning".
Obiettivi specifici
- Conoscenza e comprensione: al temine del corso lo studente avrà acquisito le nozioni ed i risultati di base (prevalentemente negli ambiti di processi stocastici e meccanica statistica) utilizzati nello studio dei principali modelli di reti neurali (e.g., reti di Hopfield, macchine di Boltzmann, reti "feed-forward").
- Applicare conoscenza e comprensione: lo studente sarà in grado di individuare l’architettura ottimale per un certo “task” e di risolvere il modello risultante determinandone un diagramma di fase; lo studente avrà le basi per sviluppare, in autonomia, algoritmi di apprendimento e di richiamo.
- Capacità critiche e di giudizio: lo studente sarà in grado di determinare i parametri che controllano il comportamento qualitativo di una rete neurale e di stimare valori per tali parametri che permettano il buon funzionamento della rete; sarà inoltre in grado di esaminare le analogie e le relazioni tra gli argomenti trattati nel corso ed in altri corsi dedicati a statistica ed analisi dati.
- Capacità comunicative: capacità di esporre i contenuti nella parte orale e scritta della verifica, eventualmente attraverso l’ausilio di presentazioni.
- Capacità di apprendimento: le conoscenze acquisite permetteranno uno studio, individuale o impartito in un corso di LM, relativo ad aspetti più specialistici di meccanica statistica, sviluppo di algoritmi, utilizzo di big data.
Programma (tentativo)
- Introduzione
Modelli biologici e artificiali
- Richiami di meccanica statistica dell'equilibrio
Modello di Curie-Weiss
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
- Neurone di McCulloc-Pitts
- Reti neurali ad attrattori
Dinamica neuronale deterministica e stocastica
Il concetto di richiamo
Apprendimento hebbiano
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Modello di Hopfield
Soluzione del modello di Hopfield in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Introduzione al modello di Sherrington-Kirkpatrick
Soluzione del modello di Hopfield in alto carico
Accoppiamento non locale con matrice di interazione pseudo-inversa
- Richiami di inferenza statistica
Elementi di teoria dell'informazione
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Massima entropia e meccanica statistica all'equilibrio
- Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Apprendimento Bayesiano
Simulated Annealing
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
- Modelli avanzati ispirati dalla neurofisiologia
- Modelli biologici
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Testi suggeriti
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press (2005)
D.J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press (1992)
S. Shalev-Shwartz, S. Ben-David, "Understanding Machine Learning: From Theory to Algorithms", Cambridge University Press (2014)
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press (2006)
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press (2003)
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM (1995)
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press (2003)
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press (1976)
Informazioni sul corso
Quando
A partire da martedì 29 settembre 2020:
martedì 11-13
giovedì 11-13
Fino a giovedì 14 gennaio 2021
Dove
Le lezioni si terranno presso Aula G, Dipartimento di Matematica "Guido Castelnuovo" e verranno erogate in sincrono anche su Google Meet [uwm-gtok-khj]. Le lezioni saranno fruibili anche in modalità asincrona.
Il materiale didattico sarà messo a disposizione su Classroom [uqikce4]
Prossimi Appelli
Sessione Invernale
18/01/20
10/02/20
Sessione Estiva
21/06/20
12/07/20
Sessione Autunnale
08/09/20
Appelli Straordinari (TBA)
07/04/20
06/11/20
Ricevimento
Su appuntamento presso il mio ufficio [stanza n. 9 edificio CU036 (ex-falegnameria)]
Diario delle lezioni
Giovedì 26 Settembre
Informazioni generali sul corso
Modelli biologici e artificiali
Richiami di meccanica statistica dell'equilibrio
Lunedì 30 Settembre
Modello di Ehrenfest
Minimizzazione dinamica dell'energia libera
Modello di Curie-Weiss (CW)
Giovedì 3 Ottobre
Energia libera vincolata
Soluzione del modello di CW col metodo di Laplace
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
Modello di CW come (banale) rete neurale associativa
Lunedì 7 Ottobre
Soluzione del metodo di CW col metodo interpolante
Teoria delle fluttuazioni
Giovedì 10 Ottobre
Neurone di McCulloc-Pitts (modello e capacità computazionali)
Dinamica neuronale deterministica e stocastica
Funzione di Lyapunov per il caso deterministico
Misura di equilibrio per il caso stocastico
Lunedì 14 Ottobre
Il concetto di richiamo
Apprendimento hebbiano
Reti neurali ad attrattori (il modello di Hopfiled in assenza di rumore)
Stati misti
Giovedì 17 Ottobre
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Considerazioni generali sul modello di Hopfiel (cosa immagazzina, problemi di ottimizzazione)
Soluzione del modello di Hopfield in basso carico
Lunedì 21 Ottobre
Studio delle equazioni di auto-consistenza in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Giovedì 24 Ottobre
Problemi nel passaggio all'alto carico
Introduzione al modello di Sherrington-Kirkpatrick (SK)
Repliche e stato prodotto
Limite termodinamico
Lunedì 28 Ottobre
Simmetria di replica
Soluzione del modello SK
Giovedì 31 Ottobre
Soluzione del modello di Hopfield in alto carico
Parametri d'ordine, evidenze numeriche
Diagramma di fase AGS
Il limite della Gardner
Accoppiamento non locale con matrice di interazione pseudo-inversa
Lunedì 4 Novembre
Pressione annealed
Auto-media della pressione con martingala
Soluzione RS con tecniche interpolanti
Giovedì 7 Novembre
Elementi di teoria dell'informazione
Teorema di Shannon
Lunedì 11 Novembre
Richiami di inferenza statistica
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Giovedì 14 Novembre
Massima entropia e meccanica statistica all'equilibrio
Massimo verosimiglianza e problema inverso per CW
Approccio Bayesiano e fit
Lunedì 18 Novembre
Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Giovedì 21 Novembre
Apprendimento Bayesiano
Lunedì 25 Novembre
Monte Carlo Markov Chain
Simulated Annealing
Giovedì 28 Novembre
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Lunedì 2 Dicembre
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Introduzione alle Macchine di Boltzmann
Giovedì 5 Dicembre
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
Lunedì 9 Dicembre
Modelli diluiti
Giovedì 12 Dicembre
Modelli avanzati ispirati dalla biologia
Lunedì 16 Dicembre
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Modelli avanzati ispirati dalla biologia
Course objectives
General objectives
Acquiring basic knowledge on the mathematical methods used in artificial intelligence modeling, with particular attention to "machine learning".
Specific objectives
- Knowledge and understanding: at the end of the course the student will have knowledge of the basic notions and results (mainly in the areas of stochastic processes and statistical mechanics) used in the study of the main models of neural networks (e.g., Hopfield networks, Boltzmann machines, feed-forward networks).
- Apply knowledge and understanding: the student will be able to identify the optimal architecture for a certain task and to solve the resulting model by determining a phase diagram; the student will have the basis to independently develop algorithms for learning and retrieval.
- Critical and judgmental skills: the student will be able to determine the parameters that control the qualitative behaviour of a neural network and to estimate the values of these parameters that allow a good performance of the network; she/he will also be able to investigate the analogies and relationships between the topics covered during the course and during courses dedicated to statistics and data analysis.
- Communication skills: ability to expose the contents in the oral and written part of the verification, possibly by means of presentations.
- Learning skills: the knowledge acquired will allow a study, individual or taught in a LM course, related to more specialised aspects of statistical mechanics, development of algorithms, usage of big data.
(Tentative) Program
- Biological and artificial models
- Introduction to equilibrium statistical mechanics
Curie-Weiss model (CW)
Phase transitions, ergodicity breaking, spontaneous symmetry breaking
- McCulloc-Pitts neuron
- Attractor neural networks
Deterministic and stochastic neuronal dynamics
The concept of retrieval
Hebbian learning
Mattis model
Introduction to disordered systems: frustration, "quenched" and "annealed" media, self-average
Hopfield model
Solution of the Hopfield model in the low-load regime
Pure and spurious states
Signal-to-noise technique
Introduction to the Sherrington-Kirkpatrick (SK) model
Solution of the Hopfield model in the high-load regime
Non-local coupling with pseudo-reverse interaction matrix
- Review of statistical inference
Elements of information theory
Bayesian approach (and Occam's razor)
Maximum likelihood
Maximum entropy
Maximum entropy and equilibrium statistical mechanics
- Introduction to machine learning
The Rosenblatt perceptor
Minsky and Papert
Bayesian learning
Simulated Annealing
Unsupervised learning: classification and reduction of dimensionality
k-averages, mixture of Gaussian
Analysis of the main components
Factorial analysis
Introduction to autoencoders
Notes on convolutional neuronal networks
Boltzmann machines
Contrastive divergence
Hopfield-RBM duality
Notes on deep learning
- Advanced models inspired by neurophysiology
- Biological neural networks
Neurophysiology of action potential
Integrated-and-fire (leaky) models
Cable theory
Hodgkin-Huxley model
Suggested Textbooks
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press (2005)
D.J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press (1992)
S. Shalev-Shwartz, S. Ben-David, "Understanding Machine Learning: From Theory to Algorithms", Cambridge University Press (2014)
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press (2006)
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press (2003)
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM (1995)
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press (2003)
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press (1976)
English version follows
Obiettivi del corso
Obiettivi generali
Acquisire conoscenze di base sui metodi matematici impiegati nella modellistica dell'intelligenza artificiale, con particolare attenzione al "machine learning".
Obiettivi specifici
- Conoscenza e comprensione: al temine del corso lo studente avrà acquisito le nozioni ed i risultati di base (prevalentemente negli ambiti di processi stocastici e meccanica statistica) utilizzati nello studio dei principali modelli di reti neurali (e.g., reti di Hopfield, macchine di Boltzmann, reti "feed-forward").
- Applicare conoscenza e comprensione: lo studente sarà in grado di individuare l’architettura ottimale per un certo “task” e di risolvere il modello risultante determinandone un diagramma di fase; lo studente avrà le basi per sviluppare, in autonomia, algoritmi di apprendimento e di richiamo.
- Capacità critiche e di giudizio: lo studente sarà in grado di determinare i parametri che controllano il comportamento qualitativo di una rete neurale e di stimare valori per tali parametri che permettano il buon funzionamento della rete; sarà inoltre in grado di esaminare le analogie e le relazioni tra gli argomenti trattati nel corso ed in altri corsi dedicati a statistica ed analisi dati.
- Capacità comunicative: capacità di esporre i contenuti nella parte orale e scritta della verifica, eventualmente attraverso l’ausilio di presentazioni.
- Capacità di apprendimento: le conoscenze acquisite permetteranno uno studio, individuale o impartito in un corso di LM, relativo ad aspetti più specialistici di meccanica statistica, sviluppo di algoritmi, utilizzo di big data.
Programma (tentativo)
- Introduzione
Modelli biologici e artificiali
- Richiami di meccanica statistica dell'equilibrio
Modello di Curie-Weiss
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
- Neurone di McCulloc-Pitts
- Reti neurali ad attrattori
Dinamica neuronale deterministica e stocastica
Il concetto di richiamo
Apprendimento hebbiano
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Modello di Hopfield
Soluzione del modello di Hopfield in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Introduzione al modello di Sherrington-Kirkpatrick
Soluzione del modello di Hopfield in alto carico
Accoppiamento non locale con matrice di interazione pseudo-inversa
- Richiami di inferenza statistica
Elementi di teoria dell'informazione
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Massima entropia e meccanica statistica all'equilibrio
- Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Apprendimento Bayesiano
Simulated Annealing
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
- Modelli avanzati ispirati dalla neurofisiologia
- Modelli biologici
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Testi suggeriti
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press (2005)
D.J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press (1992)
S. Shalev-Shwartz, S. Ben-David, "Understanding Machine Learning: From Theory to Algorithms", Cambridge University Press (2014)
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press (2006)
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press (2003)
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM (1995)
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press (2003)
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press (1976)
Informazioni sul corso
Quando
A partire da martedì 29 settembre 2020:
martedì 11-13
giovedì 11-13
Fino a giovedì 14 gennaio 2021
Dove
Le lezioni si terranno presso Aula G, Dipartimento di Matematica "Guido Castelnuovo" e verranno erogate in sincrono anche su Google Meet [uwm-gtok-khj]. Le lezioni saranno fruibili anche in modalità asincrona.
Il materiale didattico sarà messo a disposizione su Classroom [uqikce4]
Prossimi Appelli
Sessione Invernale
18/01/20
10/02/20
Sessione Estiva
21/06/20
12/07/20
Sessione Autunnale
08/09/20
Appelli Straordinari (TBA)
07/04/20
06/11/20
Ricevimento
Su appuntamento presso il mio ufficio [stanza n. 9 edificio CU036 (ex-falegnameria)]
Diario delle lezioni
Giovedì 26 Settembre
Informazioni generali sul corso
Modelli biologici e artificiali
Richiami di meccanica statistica dell'equilibrio
Lunedì 30 Settembre
Modello di Ehrenfest
Minimizzazione dinamica dell'energia libera
Modello di Curie-Weiss (CW)
Giovedì 3 Ottobre
Energia libera vincolata
Soluzione del modello di CW col metodo di Laplace
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
Modello di CW come (banale) rete neurale associativa
Lunedì 7 Ottobre
Soluzione del metodo di CW col metodo interpolante
Teoria delle fluttuazioni
Giovedì 10 Ottobre
Neurone di McCulloc-Pitts (modello e capacità computazionali)
Dinamica neuronale deterministica e stocastica
Funzione di Lyapunov per il caso deterministico
Misura di equilibrio per il caso stocastico
Lunedì 14 Ottobre
Il concetto di richiamo
Apprendimento hebbiano
Reti neurali ad attrattori (il modello di Hopfiled in assenza di rumore)
Stati misti
Giovedì 17 Ottobre
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Considerazioni generali sul modello di Hopfiel (cosa immagazzina, problemi di ottimizzazione)
Soluzione del modello di Hopfield in basso carico
Lunedì 21 Ottobre
Studio delle equazioni di auto-consistenza in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Giovedì 24 Ottobre
Problemi nel passaggio all'alto carico
Introduzione al modello di Sherrington-Kirkpatrick (SK)
Repliche e stato prodotto
Limite termodinamico
Lunedì 28 Ottobre
Simmetria di replica
Soluzione del modello SK
Giovedì 31 Ottobre
Soluzione del modello di Hopfield in alto carico
Parametri d'ordine, evidenze numeriche
Diagramma di fase AGS
Il limite della Gardner
Accoppiamento non locale con matrice di interazione pseudo-inversa
Lunedì 4 Novembre
Pressione annealed
Auto-media della pressione con martingala
Soluzione RS con tecniche interpolanti
Giovedì 7 Novembre
Elementi di teoria dell'informazione
Teorema di Shannon
Lunedì 11 Novembre
Richiami di inferenza statistica
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Giovedì 14 Novembre
Massima entropia e meccanica statistica all'equilibrio
Massimo verosimiglianza e problema inverso per CW
Approccio Bayesiano e fit
Lunedì 18 Novembre
Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Giovedì 21 Novembre
Apprendimento Bayesiano
Lunedì 25 Novembre
Monte Carlo Markov Chain
Simulated Annealing
Giovedì 28 Novembre
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Lunedì 2 Dicembre
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Introduzione alle Macchine di Boltzmann
Giovedì 5 Dicembre
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
Lunedì 9 Dicembre
Modelli diluiti
Giovedì 12 Dicembre
Modelli avanzati ispirati dalla biologia
Lunedì 16 Dicembre
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Modelli avanzati ispirati dalla biologia
Course objectives
General objectives
Acquiring basic knowledge on the mathematical methods used in artificial intelligence modeling, with particular attention to "machine learning".
Specific objectives
- Knowledge and understanding: at the end of the course the student will have knowledge of the basic notions and results (mainly in the areas of stochastic processes and statistical mechanics) used in the study of the main models of neural networks (e.g., Hopfield networks, Boltzmann machines, feed-forward networks).
- Apply knowledge and understanding: the student will be able to identify the optimal architecture for a certain task and to solve the resulting model by determining a phase diagram; the student will have the basis to independently develop algorithms for learning and retrieval.
- Critical and judgmental skills: the student will be able to determine the parameters that control the qualitative behaviour of a neural network and to estimate the values of these parameters that allow a good performance of the network; she/he will also be able to investigate the analogies and relationships between the topics covered during the course and during courses dedicated to statistics and data analysis.
- Communication skills: ability to expose the contents in the oral and written part of the verification, possibly by means of presentations.
- Learning skills: the knowledge acquired will allow a study, individual or taught in a LM course, related to more specialised aspects of statistical mechanics, development of algorithms, usage of big data.
(Tentative) Program
- Biological and artificial models
- Introduction to equilibrium statistical mechanics
Curie-Weiss model (CW)
Phase transitions, ergodicity breaking, spontaneous symmetry breaking
- McCulloc-Pitts neuron
- Attractor neural networks
Deterministic and stochastic neuronal dynamics
The concept of retrieval
Hebbian learning
Mattis model
Introduction to disordered systems: frustration, "quenched" and "annealed" media, self-average
Hopfield model
Solution of the Hopfield model in the low-load regime
Pure and spurious states
Signal-to-noise technique
Introduction to the Sherrington-Kirkpatrick (SK) model
Solution of the Hopfield model in the high-load regime
Non-local coupling with pseudo-reverse interaction matrix
- Review of statistical inference
Elements of information theory
Bayesian approach (and Occam's razor)
Maximum likelihood
Maximum entropy
Maximum entropy and equilibrium statistical mechanics
- Introduction to machine learning
The Rosenblatt perceptor
Minsky and Papert
Bayesian learning
Simulated Annealing
Unsupervised learning: classification and reduction of dimensionality
k-averages, mixture of Gaussian
Analysis of the main components
Factorial analysis
Introduction to autoencoders
Notes on convolutional neuronal networks
Boltzmann machines
Contrastive divergence
Hopfield-RBM duality
Notes on deep learning
- Advanced models inspired by neurophysiology
- Biological neural networks
Neurophysiology of action potential
Integrated-and-fire (leaky) models
Cable theory
Hodgkin-Huxley model
Suggested Textbooks
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press (2005)
D.J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press (1992)
S. Shalev-Shwartz, S. Ben-David, "Understanding Machine Learning: From Theory to Algorithms", Cambridge University Press (2014)
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press (2006)
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press (2003)
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM (1995)
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press (2003)
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press (1976)
