Un des monument théorique à la limite des mathématiques et de l'informatique: la théorie de la communication de Claude Shannon. Découvrons cela depuis une simple partie de bonneteau jusqu'à la divergence de Kullback-Leibler en passant par les codes correcteurs d'erreur.

Merci à Camille Brugel pour son initiation au sujet et sa relecture.

Sommaire:
- 00:00 Introduction
- 00:32 Initiation à l'information
- 04:39 Bit et entropie de Shannon
- 09:56 Modèle, correction d'erreur, et limites théoriques
- 25:05 Cross-entropie
- 27:39 Outro

Note 9:30: Le rapport 8 pour 3 n'est pas quantitatif, juste illustratif (je n'ai pas cherché l'entropie de Shannon exacte pour le français). Sur la remarque "il sera impossible de représenter 800 lettres en français en moins de 300 caractères", le premier point important est que cette remarque est valable en moyenne, il est évident que certains messages utilisant 100 fois le même mots peuvent être communiqués de manière plus compacte, mais c'est un cas particulier, pas le comportement moyen. Dans la modélisation de Shannon on réfléchit en terme de bloc, et d'un bloc au suivant les messages sont supposés indépendants, il y a donc une partie de la structure de la source que le modèle ne capture pas (la logique qu'il pourrait y avoir d'un bloc au suivant et qui permettrait d'économiser de la place durant la transmission). Il suffit pour traiter ce problème de considérer des blocs plus longs et l'entropie à la limite des blocs longs, mais comme ce comportement limite est inatteignable, on peut, dans certains cas de sources, avoir des méthodes de compression au-delà de la limite pratique de Shannon.

Pour en savoir plus:
https://en.wikipedia.org/wiki/Informa...
https://en.wikipedia.org/wiki/Noisy-c...
https://en.wikipedia.org/wiki/Hamming...
https://en.wikipedia.org/wiki/Huffman...
https://en.wikipedia.org/wiki/Cross_e...

Retrouvez Passe-science sur Utip, Tipeee, Twitter et Facebook:
https://utip.io/passescience
https://www.tipeee.com/passe-science
  / thomascabaret84  
  / passescience.youtube  

Musique:
https://www.musicscreen.org/Royalty-f...
Mix Kevin Macleod (Kerbal space program)
Legend of One by Kevin MacLeod is licensed under a Creative Commons Attribution 4.0 license. https://creativecommons.org/licenses/...
Source: http://incompetech.com/music/royalty-...
Artist: http://incompetech.com/
Flutey Funk by Kevin MacLeod is licensed under a Creative Commons Attribution 4.0 license. https://creativecommons.org/licenses/...
Source: http://incompetech.com/music/royalty-...
Artist: http://incompetech.com/

Hi-Tech Corporate 2BStudio

Beaucoup issu de YouTube audio library me demander si j'en oublie.