Définition de l'entropie : entropie d'information

Equivalent statistique de l'entropie (non démontré)

Second principe de la thermodynamique :

  • D'après le second principe, il y a création d'entropie dans un système isolé : dS totale = dS système + dS extérieur ⩾ δ Q T dS_{totale}=dS_{système}+dS_{extérieur} geslant {%idelta Q} over T

Entropie et probabilité des états du système

  • Chaque état macroscopique est un assemblage d'une infinité d'états microscopique, ayant chacun une probabilité spécifique.

Fondamentaldéfinition statistique de l'entropie d'information

Soit une probabilité de distribution P = {p1, p2, ... , pn } des états du système parmi n états, tous indépendants. On peut alors écrire l'entropie d'information selon la formule démontrée par Gibbs : S = − k ∑ j = 1 n S j = − k ∑ j = 1 n ( p j ⋅ ln p j ) S= -k sum from {j=1} to {n} S_{j} = -k sum from {j=1} to {n} (p_{j} cdot ln p_{j})

Propriétés :

  • Il y a proportionnalité à une constante près k qui est la constante de Boltzmann kB.

  • L'entropie S est ≥ 0 ; car la probabilité pj est comprise entre 0 et 1.

    • S > 0 transformation irréversible

    • NB : Sj = 0 si pj = 0 (état improbable) ou 1 (totalement probable). transformation réversible

  • S est une mesure de « l'incertitude » : les états j parfaitement connus ont une entropie nulle Sj = 0 car leur probabilité est nulle pj=0.