MODELLI DI RETI NEURALI AA 2019/20
English version follows
Obiettivi del corso
Obiettivi generali
Acquisire conoscenze di base sui metodi matematici impiegati nella modellistica dell'intelligenza artificiale, con particolare attenzione al "machine learning".
Obiettivi specifici
- Conoscenza e comprensione: al temine del corso lo studente avrà acquisito le nozioni e i risultati di base (prevalentemente negli ambiti di processi stocastici e meccanica statistica) utilizzati nello studio dei principali modelli di reti neurali (modello di Hopfield, percettrone, macchine di Boltzmann).
- Applicare conoscenza e comprensione: al temine del corso lo studente sarà in grado di risolvere in maniera autonoma semplici modelli di reti neurali e di distinguere tra fase di richiamo, fase vetrosa e fase ergodica attraverso l'utilizzo dei parametri d'ordine; lo studente avrà le basi per sviluppare, in autonomia, algoritmi di apprendimento e di richiamo
- Capacità critiche e di giudizio: lo studente sarà in grado di determinare i parametri critici di modelli di richiamo e di apprendimento e di analizzare le analogie e le relazioni tra gli argomenti trattati e argomenti statistica inferenziale.
- Capacità di apprendimento: le conoscenze acquisite permetteranno uno studio, individuale o impartito in un corso di LM, relativo ad aspetti più specialistici di meccanica statistica, sviluppo di algoritmi, utilizzo di big data.
Programma (tentativo)
Nozioni introduttive
- Concetti base in meccanica statistica
- Concetti base in teoria dell’informazione
- Concetti base in statistica inferenziale
Introduzione alle reti neurali
- AI: contesto, contributi, aspettative
- Neuroni biologici e modelli di neuroni
- Il neurone di McCulloch-Pitts e la sua versione stocastica
La “cable-theory”
- Il modello di Hodgkin-Huxley
- Il neurone integrate-and-fire
Reti feed-forward
- Il percettrone
- Teorema di Minsky e Papert
- Reti a multistrato
Reti ricorrenti
- Memoria associativa
Il modello di Hopfield
- Soluzione esatta con un pattern (Curie-Weiss)
- Soluzione esatta in basso carico
- Soluzione in alto carico
- Problemi inversi
- Riflesso condizionato
Tecniche Bayesiane nell’apprendimento con supervisore
Macchine di Boltzmann
- Regola di apprendimento con supervisore
- Regola di apprendimento senza supervisore
- Deep learning
- Equivalenza termodinamica tra macchina di Boltzmann e modello di Hopfield
Tecniche numeriche di apprendimento
Modelli avanzati
- Diluizione
- Topologia (gerarchico, multipartito)
- Dreaming
Testi suggeriti
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press
D. J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press
Course objectives
General objectives
To acquire basic knowledge on the mathematical methods used in the modeling of artificial intelligence, with particular attention to "machine learning".
Specific objectives
- Knowledge and understanding: at the end of the course the student will have acquired the basic notions and results (mainly in the fields of stochastic and statistical mechanics) used in the study of the main models of neural networks (model of Hopfield, percetrone, Boltzmann machines).
- Apply knowledge and understanding: at the end of the course the student will be able to solve autonomously simple models of neural networks and to distinguish between the recall phase, the vitreous phase and the ergodic phase through the use of the order parameters; the student will have the bases to develop, in autonomy, learning and recall algorithms
- Critical and judgmental skills: the student will be able to determine the critical parameters of recall and learning models and to analyze the analogies and the relationships between the topics covered and the topics of the inferential statistics.
- Learning skills: the acquired knowledge will allow a study, individual or given in a LM course, related to more specialized aspects of statistical mechanics, development of algorithms, use of big data.
(Tentative) Program
Introductory notions
- Basic concepts in statistical mechanics
- Basic concepts in information theory
- Basic concepts in inferential statistics
Introduction to neural networks
- AI: context, contributions, expectations
- Biological neurons and neuron models
- McCulloch-Pitts neuron and its stochastic version
The "cable-theory"
- The Hodgkin-Huxley model
- The integrated-and-fire neuron
Feed-forward networks
- The perceptron
- Minsky and Papert theorem
- Multilayer nets
Recurrent networks
- Associative memory
The Hopfield model
- Exact solution with one pattern (Curie-Weiss)
- Exact solution at low load
- High load solution
- Inverse problems
- Conditioned reflex
Bayesian techniques in supervised learning
Boltzmann machines
- Learning rule with supervisor
- Learning rule without supervisor
- Deep learning
- Thermodynamic equivalence between Boltzmann machine and Hopfield model
Numerical learning techniques
Advanced models
- Dilution
- Topology (hierarchical, multipartite)
- Dreaming
Suggested Textbooks
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press
D. J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press
Informazioni sul corso
Quando
A partire da giovedì 26 settembre 2019:
lunedì 11-13
giovedì 16-18
Fino a lunedì 16 dicembre 2019
Dove
Le lezioni si terranno presso Aula G, Dipartimento di Matematica "Guido Castelnuovo"
Prossimi Appelli
Sessione Invernale
24/01/20
12/02/20 -> 20/02/20
Sessione Estiva
19/06/20
10/07/20
Sessione Autunnale
07/09/20
Appelli Straordinari
07/04/20
06/11/20
Ricevimento
Su appuntamento presso il mio ufficio [stanza n. 9 edificio CU036 (ex-falegnameria)]
Diario delle lezioni
Giovedì 26 Settembre
Informazioni generali sul corso
Modelli biologici e artificiali
Richiami di meccanica statistica dell'equilibrio
Lunedì 30 Settembre
Modello di Ehrenfest
Minimizzazione dinamica dell'energia libera
Modello di Curie-Weiss (CW)
Giovedì 3 Ottobre
Energia libera vincolata
Soluzione del modello di CW col metodo di Laplace
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
Modello di CW come (banale) rete neurale associativa
Lunedì 7 Ottobre
Soluzione del metodo di CW col metodo interpolante
Teoria delle fluttuazioni
Giovedì 10 Ottobre
Neurone di McCulloc-Pitts (modello e capacità computazionali)
Dinamica neuronale deterministica e stocastica
Funzione di Lyapunov per il caso deterministico
Misura di equilibrio per il caso stocastico
Lunedì 14 Ottobre
Il concetto di richiamo
Apprendimento hebbiano
Reti neurali ad attrattori (il modello di Hopfiled in assenza di rumore)
Stati misti
Giovedì 17 Ottobre
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Considerazioni generali sul modello di Hopfiel (cosa immagazzina, problemi di ottimizzazione)
Soluzione del modello di Hopfield in basso carico
Lunedì 21 Ottobre
Studio delle equazioni di auto-consistenza in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Giovedì 24 Ottobre
Problemi nel passaggio all'alto carico
Introduzione al modello di Sherrington-Kirkpatrick (SK)
Repliche e stato prodotto
Limite termodinamico
Lunedì 28 Ottobre
Simmetria di replica
Soluzione del modello SK
Giovedì 31 Ottobre
Soluzione del modello di Hopfield in alto carico
Parametri d'ordine, evidenze numeriche
Diagramma di fase AGS
Il limite della Gardner
Accoppiamento non locale con matrice di interazione pseudo-inversa
Lunedì 4 Novembre
Pressione annealed
Auto-media della pressione con martingala
Soluzione RS con tecniche interpolanti
Giovedì 7 Novembre
Elementi di teoria dell'informazione
Teorema di Shannon
Lunedì 11 Novembre
Richiami di inferenza statistica
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Giovedì 14 Novembre
Massima entropia e meccanica statistica all'equilibrio
Massimo verosimiglianza e problema inverso per CW
Approccio Bayesiano e fit
Lunedì 18 Novembre
Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Giovedì 21 Novembre
Apprendimento Bayesiano
Lunedì 25 Novembre
Monte Carlo Markov Chain
Simulated Annealing
Giovedì 28 Novembre
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Lunedì 2 Dicembre
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Introduzione alle Macchine di Boltzmann
Giovedì 5 Dicembre
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
Lunedì 9 Dicembre
Modelli diluiti
Giovedì 12 Dicembre
Modelli avanzati ispirati dalla biologia
Lunedì 16 Dicembre
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Modelli avanzati ispirati dalla biologia
English version follows
Obiettivi del corso
Obiettivi generali
Acquisire conoscenze di base sui metodi matematici impiegati nella modellistica dell'intelligenza artificiale, con particolare attenzione al "machine learning".
Obiettivi specifici
- Conoscenza e comprensione: al temine del corso lo studente avrà acquisito le nozioni e i risultati di base (prevalentemente negli ambiti di processi stocastici e meccanica statistica) utilizzati nello studio dei principali modelli di reti neurali (modello di Hopfield, percettrone, macchine di Boltzmann).
- Applicare conoscenza e comprensione: al temine del corso lo studente sarà in grado di risolvere in maniera autonoma semplici modelli di reti neurali e di distinguere tra fase di richiamo, fase vetrosa e fase ergodica attraverso l'utilizzo dei parametri d'ordine; lo studente avrà le basi per sviluppare, in autonomia, algoritmi di apprendimento e di richiamo
- Capacità critiche e di giudizio: lo studente sarà in grado di determinare i parametri critici di modelli di richiamo e di apprendimento e di analizzare le analogie e le relazioni tra gli argomenti trattati e argomenti statistica inferenziale.
- Capacità di apprendimento: le conoscenze acquisite permetteranno uno studio, individuale o impartito in un corso di LM, relativo ad aspetti più specialistici di meccanica statistica, sviluppo di algoritmi, utilizzo di big data.
Programma (tentativo)
Nozioni introduttive
- Concetti base in meccanica statistica
- Concetti base in teoria dell’informazione
- Concetti base in statistica inferenziale
Introduzione alle reti neurali
- AI: contesto, contributi, aspettative
- Neuroni biologici e modelli di neuroni
- Il neurone di McCulloch-Pitts e la sua versione stocastica
La “cable-theory”
- Il modello di Hodgkin-Huxley
- Il neurone integrate-and-fire
Reti feed-forward
- Il percettrone
- Teorema di Minsky e Papert
- Reti a multistrato
Reti ricorrenti
- Memoria associativa
Il modello di Hopfield
- Soluzione esatta con un pattern (Curie-Weiss)
- Soluzione esatta in basso carico
- Soluzione in alto carico
- Problemi inversi
- Riflesso condizionato
Tecniche Bayesiane nell’apprendimento con supervisore
Macchine di Boltzmann
- Regola di apprendimento con supervisore
- Regola di apprendimento senza supervisore
- Deep learning
- Equivalenza termodinamica tra macchina di Boltzmann e modello di Hopfield
Tecniche numeriche di apprendimento
Modelli avanzati
- Diluizione
- Topologia (gerarchico, multipartito)
- Dreaming
Testi suggeriti
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press
D. J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press
Course objectives
General objectives
To acquire basic knowledge on the mathematical methods used in the modeling of artificial intelligence, with particular attention to "machine learning".
Specific objectives
- Knowledge and understanding: at the end of the course the student will have acquired the basic notions and results (mainly in the fields of stochastic and statistical mechanics) used in the study of the main models of neural networks (model of Hopfield, percetrone, Boltzmann machines).
- Apply knowledge and understanding: at the end of the course the student will be able to solve autonomously simple models of neural networks and to distinguish between the recall phase, the vitreous phase and the ergodic phase through the use of the order parameters; the student will have the bases to develop, in autonomy, learning and recall algorithms
- Critical and judgmental skills: the student will be able to determine the critical parameters of recall and learning models and to analyze the analogies and the relationships between the topics covered and the topics of the inferential statistics.
- Learning skills: the acquired knowledge will allow a study, individual or given in a LM course, related to more specialized aspects of statistical mechanics, development of algorithms, use of big data.
(Tentative) Program
Introductory notions
- Basic concepts in statistical mechanics
- Basic concepts in information theory
- Basic concepts in inferential statistics
Introduction to neural networks
- AI: context, contributions, expectations
- Biological neurons and neuron models
- McCulloch-Pitts neuron and its stochastic version
The "cable-theory"
- The Hodgkin-Huxley model
- The integrated-and-fire neuron
Feed-forward networks
- The perceptron
- Minsky and Papert theorem
- Multilayer nets
Recurrent networks
- Associative memory
The Hopfield model
- Exact solution with one pattern (Curie-Weiss)
- Exact solution at low load
- High load solution
- Inverse problems
- Conditioned reflex
Bayesian techniques in supervised learning
Boltzmann machines
- Learning rule with supervisor
- Learning rule without supervisor
- Deep learning
- Thermodynamic equivalence between Boltzmann machine and Hopfield model
Numerical learning techniques
Advanced models
- Dilution
- Topology (hierarchical, multipartite)
- Dreaming
Suggested Textbooks
A.C.C. Coolen, R. Kuhn, P. Sollich, "Theory of Neural Information Processing Systems", Oxford Press
D. J. Amit, "Modeling Brain Function: The World of Attractor Neural Networks", Cambridge University Press
B. Tirozzi, "Modelli matematici di reti neurali", CEDAM
E. T. Jaynes, "Probability Theory: The Logic of Science", Cambridge University Press
A. Bovier, "Statistical Mechanics of Disordered Systems: A Mathematical Perspective", Cambridge University Press
D.J.C. Mac Kay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press
C. J. Thompson, "Mathematical Statistical Mechanics", Princeton University Press
Informazioni sul corso
Quando
A partire da giovedì 26 settembre 2019:
lunedì 11-13
giovedì 16-18
Fino a lunedì 16 dicembre 2019
Dove
Le lezioni si terranno presso Aula G, Dipartimento di Matematica "Guido Castelnuovo"
Prossimi Appelli
Sessione Invernale
24/01/20
12/02/20 -> 20/02/20
Sessione Estiva
19/06/20
10/07/20
Sessione Autunnale
07/09/20
Appelli Straordinari
07/04/20
06/11/20
Ricevimento
Su appuntamento presso il mio ufficio [stanza n. 9 edificio CU036 (ex-falegnameria)]
Diario delle lezioni
Giovedì 26 Settembre
Informazioni generali sul corso
Modelli biologici e artificiali
Richiami di meccanica statistica dell'equilibrio
Lunedì 30 Settembre
Modello di Ehrenfest
Minimizzazione dinamica dell'energia libera
Modello di Curie-Weiss (CW)
Giovedì 3 Ottobre
Energia libera vincolata
Soluzione del modello di CW col metodo di Laplace
Transizioni di fase, rottura di ergodicità, rottura spontanea di simmetria
Modello di CW come (banale) rete neurale associativa
Lunedì 7 Ottobre
Soluzione del metodo di CW col metodo interpolante
Teoria delle fluttuazioni
Giovedì 10 Ottobre
Neurone di McCulloc-Pitts (modello e capacità computazionali)
Dinamica neuronale deterministica e stocastica
Funzione di Lyapunov per il caso deterministico
Misura di equilibrio per il caso stocastico
Lunedì 14 Ottobre
Il concetto di richiamo
Apprendimento hebbiano
Reti neurali ad attrattori (il modello di Hopfiled in assenza di rumore)
Stati misti
Giovedì 17 Ottobre
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, media "quenched" ed "annealed", auto-media
Considerazioni generali sul modello di Hopfiel (cosa immagazzina, problemi di ottimizzazione)
Soluzione del modello di Hopfield in basso carico
Lunedì 21 Ottobre
Studio delle equazioni di auto-consistenza in basso carico
Stati puri e stati spuri
Tecnica segnale-rumore
Giovedì 24 Ottobre
Problemi nel passaggio all'alto carico
Introduzione al modello di Sherrington-Kirkpatrick (SK)
Repliche e stato prodotto
Limite termodinamico
Lunedì 28 Ottobre
Simmetria di replica
Soluzione del modello SK
Giovedì 31 Ottobre
Soluzione del modello di Hopfield in alto carico
Parametri d'ordine, evidenze numeriche
Diagramma di fase AGS
Il limite della Gardner
Accoppiamento non locale con matrice di interazione pseudo-inversa
Lunedì 4 Novembre
Pressione annealed
Auto-media della pressione con martingala
Soluzione RS con tecniche interpolanti
Giovedì 7 Novembre
Elementi di teoria dell'informazione
Teorema di Shannon
Lunedì 11 Novembre
Richiami di inferenza statistica
Approccio Bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
Giovedì 14 Novembre
Massima entropia e meccanica statistica all'equilibrio
Massimo verosimiglianza e problema inverso per CW
Approccio Bayesiano e fit
Lunedì 18 Novembre
Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Minsky e Papert
Giovedì 21 Novembre
Apprendimento Bayesiano
Lunedì 25 Novembre
Monte Carlo Markov Chain
Simulated Annealing
Giovedì 28 Novembre
Modelli di apprendimento senza supervisore: classificazione e riduzione di dimensionalità
k-medie, mistura di gaussiane
Analisi delle componenti principali
Lunedì 2 Dicembre
Analisi fattoriale
Cenni agli autoencoder
Cenni alle reti neuronali convoluzionali
Introduzione alle Macchine di Boltzmann
Giovedì 5 Dicembre
Macchine di Boltzmann
Contrastive divergence
Dualità Hopfield-RBM
Cenni al deep learning
Lunedì 9 Dicembre
Modelli diluiti
Giovedì 12 Dicembre
Modelli avanzati ispirati dalla biologia
Lunedì 16 Dicembre
Neurofisiologia del potenziale d'azione
Modelli (leaky) integrate-and-fire
Teoria del cavo
Modello di Hodgkin-Huxley
Modelli avanzati ispirati dalla biologia
