Stopa entropije

{{#invoke:Sidebar |collapsible | bodyclass = plainlist | titlestyle = padding-bottom:0.3em;border-bottom:1px solid #aaa; | title = Termodinamika | imagestyle = display:block;margin:0.3em 0 0.4em; | image = | caption = Klasični Carnotov toplotni motor | listtitlestyle = background:#ddf;text-align:center; | expanded =

| list1name = grane | list1title = Grane | list1 = Šablon:Startflatlist

• Klasična
• Statička
• Hemijska
• Kvantna termodinamika

• RavnotežaŠablon:\Neravnoteža

| list2name = zakoni | list2title = Zakoni | list2 = Šablon:Startflatlist

• Nulti
• Prvi
• Drugi
• Treći

| list3name = sistemi | list3title = Sistemi | list3 =

• Zatvoreni sistem
• Izolovani sistem

Šablon:Sidebar

| list4name = svojstva_sistema | list4title = Svojstva sistema

| list4 =

Napomena: Konjugirane varijable su ukošene

Šablon:Sidebar

| list5name = materijal | list5title = Svojstva materijala | list5 =

• Baze podataka o svojstvima

Specifični toplotni kapacitet	$c=$	$T$ $\partial S$ $N$ $\partial T$
Stišljivost	$\beta =-$	$1$ $\partial V$ $V$ $\partial p$
Termičko širenje	$\alpha =$	$1$ $\partial V$ $V$ $\partial T$

| list6name = jednačine | list6title = Jednačine | list6 = Šablon:Startflatlist

• Carnotova teorema
• Clausiusova teorema
• Fundamentalna relacija
• Zakon idealnog plina

• Maxwellove relacije
• Onsagerove recipročne relacije
• Bridgmanove jednačine
• Tabela termodinamičkih jednačina

| list7name = potencijali | list7title = Potencijali | list7 = Šablon:Startflatlist

• Slobodna energija
• Slobodna entropija

| list8name = hist/kult | list8title = Šablon:Hlist | list8 =

Šablon:Sidebar

| list9name = naučnici | list9title = Naučnici | list9 = Šablon:Startflatlist

• Bernoulli
• Boltzmann
• Carnot
• Clapeyron
• Clausius
• Carathéodory
• Duhem
• Gibbs
• von Helmholtz
• Joule
• Maxwell
• von Mayer
• Onsager
• Rankine
• Smeaton
• Stahl
• Thompson
• Thomson
• van der Waals
• Waterston

Šablon:Endflatlist | list10name = Ostalo | list10title = Ostalo | list10 =

• Nukleacija
• Samomontaža
• Samoorganizacija
• Red i nered

| below =

• Šablon:Ikona Kategorija

}} U matematičkoj teoriji vjerovatnoće, entropijska stopa ili stopa izvorne informacije stohastičkog procesa je, neformalno, vremenska gustoća prosječne informacije u stohastičkom procesu. Za stohastičke procese sa prebrojivim indeksom, stopa entropije $H(X)$ je granica spojne entropije od $n$ članova procesa $X_k$ podijeljena sa $n$, kao $n$ teži beskonačnosti:

$H(X)=\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{n}H(X_1,X_2,\dots X_n)$

kada postoji granica. Alternativna, srodna količina je:

$H^{\prime }(X)=\underset{n\to \mathrm{\infty }}{\lim }H(X_n|X_{n-1},X_{n-2},\dots X_1)$

Za jako stacionarne stohastičke procese, $H(X)=H^{\prime }(X)$. Stopa entropije može se smatrati općim svojstvom stohastičkih izvora; ovo je osobina asimptotske ekviparticije. Stopa entropije može se koristiti za procjenu složenosti stohastičkih procesa. Koristi se u različitim aplikacijama u rasponu od karakterizacije složenosti jezika, slijepog odvajanja izvora, do optimizacije kvantizera i algoritama kompresije podataka. Naprimjer, kriterij maksimalne stope entropije može se koristiti za izbor funkcije u mašinskom učenju.

Pregled

Apsolutnu vrijednost entropije nekoga siatema nije moguće izmjeriti pa se određuje samo njena promjena, kao promjena količnika razmijenjene toplote i temperature. Mjerna jedinica entropije je džul po kelvinu ($J$/$K$).

Entropija je fenomenološka termodinamička veličina stanja kojoj se promjene računaju matematičkim pravilima diferenciranja i integriranja.

Na zatvorenom reverzibilnom putu (Carnotov cirkulatorni proces), kada se konačno i početno stanje poklope, promjena entropije iščezava, Δ$S$ = $0$. Prema drugom zakonu termodinamike, entropija sistema termički izoliranih od okoline veća je ili jednaka nuli: Δ$S$ ≥ $0$, pri čemu se znak jednakosti veže za reverzibilne procese, a znak nejednakosti za ireverzibilne procese u sustavu. Entropija zatvorenih sistema povećava se, jer takvi teže stanju najveće vjerovatnoće, odnosno stanju s najvećom entropijom.

Stope entropije za Markovljeve lance

Budući da je stohastički proces definisan Markovljevim lancem koji je nesvodiv, aperiodični i pozitivno rekurentno ima stacionarnu distribuciju, stopa entropije je nezavisna od početne distribucije.

Naprimjer, za takav Markovljev lanac $Y_k$ definiran na brojljivom broju stanja, s obzirom na matriksnog prijelaza $P_{ij}$, $H(Y)$ je dat izrazom:

$H(Y)=-\sum _{ij}{\mu }_i{P}_{ij}\log P_{ij}$,

gdje ${\mu }_i$ = asimptotska distribucija lanca.

Jednostavna posljedica ove definicije je da iid stohastički proces ima stopu entropije koja je ista kao entropija svakog pojedinačnog člana procesa.

Također pogledajte

• Izvor informacija (matematika)
• Markovljev izvor informacija
• Svojstvo asimptotske ekviparticije
• Nasumično kretanje maksimalne entropije - odabrano da maksimizira stopu entropije
• Entropija

Reference

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., Šablon:ISBN [1]