Discuter:Théorie de l'information
Un article de Wikipédia, l'encyclopédie libre.
 |
Théorie de l'information fait partie du projet Mathématiques, qui a pour but d'enrichir le contenu de Wikipédia sur les sujets liés aux mathématiques. Si vous voulez participer, vous pouvez modifier cet article ou visiter la page du projet, où vous pourrez vous joindre au projet et consulter la liste des tâches et des objectifs. Le portail Mathématiques pourrait aussi vous intéresser. |
| Bon début | Cet article a été classé comme d'Avancement BD selon le Tableau d'évaluation du projet. (Voir les statistiques) |
| Maximum | Cet article a été classé comme d'Importance maximum selon le Tableau d'évaluation du projet. |
Sommaire |
Non, je suis navre je ne peux pas être d accord avec la premiere phrase, la fonction premiere de l'ordinateur a ete le calcul.
D'autre part l'article est cense parle de theorie de l'information, et cela n'apparait nul part, work in progress oblige certes, mais tout de meme
Je me demande si il ne faut pas expliquer en quoi l'entropie est une mesure de l'information.
Je ne suis pas vraiment sûr que ce soit clair pour tout le monde.
Pour ce qui est de la théorie de l'information, il faut préciser jusqu'où on veut aller.
27-Nov-04 Gus2 Attention je vais craquer, je vais traduire la page anglaise. En fait j'hésite. je sais pas trop.
Je pense qu'on peut expliquer en quoi l'entropie est une mesure de l'information. Sinon, la formule avec les log paraît bien mystérieuse. Je pourrai m'en charger dans les jours qui viennent. J'ai aussi déplacé un paragraphe afin de mieux structurer (à mon avis) l'article Theon 9 déc 2004 à 13:38 (CET)
[modifier] Attention à ne pas confondre
Affirmer de but en blanc "l faut moins de bits pour écrire chien que mammifère" est quelque peu déroutant pour le lecteur. L'explication jointe est bienvenue. Celle qui suit est complètement insuffisante.
[modifier] Paradoxe du compresseur
C'est quoi. Le lien renvoie sur rien de pertinent.--Maurege 3 mar 2005 à 15:38 (CET)
Je crois qu'il s'agit de la démonstration montrant que l'on ne peut créer un compresseur de données universel. En effet, pour compresser tous les messages de moins de n bits, il faut 2^n messages de moins de n bits, alors qu'il n'y a en que 2^(n-1). Si cela dont-il s'agit, alors, ce n'est pas un paradoxe. C'est peut-être aussi pour cela que le paradoxe a été supprimé de la page sur les Paradoxes. Je propose donc de créer un article à part sur ce 'paradoxe'.Julien2512 3 mars 2005 à 15:51
Je viens de créer l'article et de mettre à jour le lien. Julien2512 3 mars 2005 à 15:01
[modifier] Fusion de Théorie de l'information et théorie de l'Information
Le « i » d'information n'a pas de raison pour être en majuscule. Il serait plus facile d'extraire l'info non présente dans Théorie de l'Information et l'ajouter à Théorie de l'information. Gene.arboit 28 octobre 2005 à 21:51 (CEST)
- Fait. Gene.arboit 8 novembre 2005 à 01:16 (CET)
[modifier] Un peu plus de précision serait bienvenue
Bonjour,
Etant tout à fait ignorant en théorie de l'information, j'ai trouvé cet article relativement intéressant, et assez accessible. Cependant, je n'ai pas bien vu le rapport entre le chapitre 2.3 "Information imparfaite" et la notion de quantité d'information. Je pense que cette partie pourrait être développée un poil...
D'autre part le lien externe Un cours de théorie de l'information B3 renvoie tout simplement sur la page d'accueil du CNAM...
Merci aux contributeurs !!
[modifier] Explication difficile à comprendre
Je pense qu'il serait plus facile à comprendre si on expliquait la quantité d'information de la même façon que celle que j'ai apprise aux cours: la quantité d'information est fonction de la probabilité que l'événement ne se produise pas.
Par exemple, dire: "Le Pape se marie" apporte beaucoup d'information car la probabilité que le Pape se marie est faible, du moins jusqu'à aujourd'hui :-).
Par contre dire: "Demain le soleil se couchera" n'apporte pas grand chose comme information. En effet, la probabilité que le soleil se couche tous les jours (pour un habitant de la Terre) est proche de 100% - je ne néglige pas qu'une météorite frappe la Terre et nous anéantisse tous ;-).
Juste mes 2 euro cents. Qu'en pensez-vous?
V. Cadet
[modifier] Précision
La mesure de l'information repose sur un constat empirique : la quantité d'information apportée par un événement est inversement proportionnelle a la probabilité de réalisation de cet événement.
Un événement certain n'apporte aucune information et plus un événement est rare plus il apporte d'information.
Exemple trivial : dans une gare si on apprend que le train est arrivé a l'heure (probabilité quasi certaine :) ... ca n'apporte aucune information, en revanche si le train déraille (probabilité très faible, en France :) c'est une "grosse" information !
C'est pourquoi on prend I = 1/p
Si on fait un tableau on voit bien que ca marche.
si p = 1 (événement certain) I = 1
si p = 1/2 (événement équiprobable) I = 2
si p = 1/3 (événement moins fréquent) I = 3
(...)
si p = 1/100 (événement rare) I = 100
si p = 0 (événement impossible) I = infini
Bien sur en prenant I = - log 1/p on obtient le même résultat puisque la fonction log est croissante sur l'intervalle [1 .. infini]
Et dans le cas p = 1 (événement certain) alors I = log 1 = 0 (la quantité d'information est nulle) etc.
NB. Le passage au log est nécessaire pour remplir ensuite les "bonnes" conditions que l'on exige de la fonction entropie de Shannon, mais ca ne change rien a la définition de l'information puisque :
log(1/p) = log 1 - log p = 0 - log p = - log p
Seul le signe change, ce qui explique l'entropie "negativisée" H = - Somme (pi x log pi) pour retrouver une valeur positive.
En passant je signale qu'une démonstration mathématique tres simple montre que log est la seule fonction possible remplissant toutes les conditions exigées pour définir l'entropie.
TD 8 février 2008 à 10:45 (CET)
PS. En prenant I = - log p et un système fini d'événements, l'entropie peut se voir comme la quantité d'information moyenne du système. TD 14 février 2008 à 22:35 (CET)
