Entropie in der Informationstheorie

[ingeniosus]

Zitat von Hamilton

Die Entropie ist in der Informationstheorie sowas wie der Erwartungswert der Information.
Nach Tukey ist Information I = -log p, wobei die Basis erstmal egal ist und für die Einheit steht (ist sie 2, dann hat I die Einheit Bit, ist sie e, dann nennt man das "nats")

p ist hier die Wahrscheinlichkeit mit der ein Ereignis eintritt.
Hat man z.B. eine Münze, dann ist die Kopf-W'keit 1/2, damit ist die Info aus einem Münzwurf genau 1 Bit.
Aus 10 Würfen können sich 2^10 Möglichkeiten ergeben, da die W'keit für jeden Wurf 1/2 bleibt, ist die Information = - log (1/2^10) = 10 bit.
Mit jedem Münzwurf steigt die Information an. Ist die W'keit für ein Ereignis 1, dann kann ich den Prozess so oft realisieren, wie ich will, die Information bleibt 0 (da schon vorher klar ist, wie das Ergebnis sein wird)

Der Informationsbegrif aus der Inf.Theorie ist also was ganz anderes als unser alltäglicher Gebrauch des Wortes Information. Er sagt nämlich nichts über die Verwertbarkeit von Information aus, sondern eher etwas über die "Überrschung" über ein Ereeignis. Die Überraschung über ein Ereignis, dass sicher eintritt (I = -log (1) = 0) ist null, wärend die Information, dass ein total seltendes/unwahrscheinliches Ereignis eingetreten ist, sehr groß ist.

Die (Shannon-)Entropie ist der Erwartungswert der Information, H = - SUMME { p log p }
Sie kann interpretiert werden als Unsicherheit über den Ausgang eines Zufallsexperimentes (deren Verteilung man kennt).
Betrachten wir z.B. zwei User eines Internetforums. Der eine schreibt immer das selbe und benutzt oft die gleichen Wörten (z.B. "Einstein, doof, falsch, unlogisch ...), der andere neigt nicht zu Polemik, schreibt deshalb nur, wenn es etwas interessantes zu sagen gibt, wiederholt sich nicht ständig und benutzt auch einen reicheren Wortschatz.
Jetzt kann man z.B. ein Histogramm anfertigen über alle Wörter, die die beiden benutzt haben- ein Historgramm ist ja ein Schätzer für die W'keiten der Wörter, also hat man p(wort) für beide und kann die Entropie ausrechnen. Dabei wird sich vermutlich ergeben, dass der zweite User eine deutlich höhere Entropie hat als der erste, was bedeutet, dass er mehr Information generiert.
Wenn ich die beiden also nicht selbst kenne, sondern nur ihre Entropien, würde ich zweifellos eher die Beiträge von User Nr.2 lesen.

(Ein dritter User, der rein zufällige Nonsenswörter schreibt, wie ghkgfhk etc... und dabei eine große Vielfalt walten lässt, hätte zweifellos eine noch viel höhere Entropie, also Vorsicht bei der Interpretation)

Wie man das jetzt mit der Zeit zusammenbringt und deine Frage beantwortet überlasse ich jetzt den anderen. Ich bin der Meinung, dass für das, was dich eigentlich interessiert, die Entropie dich nicht weiter bringt.

Diese mathematischen Festlegungen für Information, Erwartungswert und Entropie sind m.E. heute etwas zu eng.

Information ist für mich die Abstraktion von Daten durch den Menschen, also wesentlich mehr als nur eine Unwahrscheinlichkeit.

Der Begriff der Entropie bleibt für mich ein Rätsel. Ich frage mich, ob er ausserhalb der Wärmetheorie sinnvoll ist. Er ist der frühe Versuch, Mengentheorie und Wahrscheinlichkeitsrechnung zu verbinden, hat aber m.E. heute keine sinnvolle Verwendung mehr.

[EMI]

Zitat von ingeniosus

Der Begriff der Entropie bleibt für mich ein Rätsel. Ich frage mich, ob er ausserhalb der Wärmetheorie sinnvoll ist. Er ist der frühe Versuch, Mengentheorie und Wahrscheinlichkeitsrechnung zu verbinden, hat aber m.E. heute keine sinnvolle Verwendung mehr.

Hallo ingeniosus,

Entropie ist für viele ein Rätsel, es gibt offensichtlich nur einige Wenige die die Entropie umfassend handhaben können. Diese Kenner sehen da auch noch entropische Vorgänge und so ein Zeugs.
Ich zieh mich daher demütig in die Physik zurück.

Die Entropie ist eine nicht direkt meßbare Größe. Man erhält sie durch Integration der aus dem 2. Hauptsatz der Thermodynamik folgenden Beziehung:

ds = (1/T) du = (p/T) dv = ((1/T) dh) - ((v/T) dp)

mit s spezifischer Entropie und den messbaren Größen:
u spez. Energie, v spez. Volumen, h spez. Enthalpie, p spez. Druck und T der absoluten Temperatur.

Die Entropie ist die entscheidende Größe zur Definition der Temperatur!

Die verbreiteste Behauptung ist, die Temperatur ist das Maß der Intensität der Bewegung der Moleküle, aus denen sich der Stoff zusammensetzt.
Sprich, die Temperatur ist nur ein anderes Maß für die mittlere kinetische Energie der Moleküle.

Diese Vorstellung ist falsch, wiederlegt und überholt!

Es hat sich gezeigt, das dies vor allem in der Nähe des absoluten Nullpunktes der Temperatur nicht zutreffend ist.
Das Problem wurde erst mit der QT umfassend gelöst:

Die Temperatur ist gleich dem Quotienten aus Gesamtenergieänderung und Entropieänderung eines Systems!
T = dE/dS

Gruß EMI

[Uli]

Interessant ist auch die Definition der Entropie in der statistischen Mechanik - proportional (über die Boltzmann-Konstante) zum Logarithmus der Zahl der Zustände die ein System annehmen kann. Siehe z.B.
STATISTISCHE DEFINITION DER ENTROPIE

[Gandalf]

Moin
@Uranor

In welcher Suppe werden denn conterkausale Sprünge beobachtet?

Ich sprach an keiner Stelle von "conterkausal" (Ich dachte das Thema hatten wir bereits durch: Es gibt neben energetische kausalen Zusammenhängen auch andere (kausale) Zusammenhänge, die keine zeitliche Gerichtetheit voraussetzen)

[Uranor]

Zitat von Gandalf

Ich sprach an keiner Stelle von "conterkausal" (Ich dachte das Thema hatten wir bereits durch: Es gibt neben energetische kausalen Zusammenhängen auch andere (kausale) Zusammenhänge, die keine zeitliche Gerichtetheit voraussetzen)

salve Gandalf,

kene ich andere (kausale) Zusammenhänge? Im Moment muss ich passen. Was wäre da zu nennen?

[Hamilton]

Diese mathematischen Festlegungen für Information, Erwartungswert und Entropie sind m.E. heute etwas zu eng.

Information ist für mich die Abstraktion von Daten durch den Menschen, also wesentlich mehr als nur eine Unwahrscheinlichkeit.

Der Begriff der Entropie bleibt für mich ein Rätsel. Ich frage mich, ob er ausserhalb der Wärmetheorie sinnvoll ist. Er ist der frühe Versuch, Mengentheorie und Wahrscheinlichkeitsrechnung zu verbinden, hat aber m.E. heute keine sinnvolle Verwendung mehr.

Shannon hat die Informationstheorie während seiner Zeit bei AT&T Bell Labs begründet- das ist keine Uni, sondern ein Telekommunikationsunternehmen.
Ziel des Ganzen war u.a. ein Maß für die Kanalkapazität von Telegraphen zu finden (das war 1948). Die ganzen Konzepte sind aber mathematisch abstrakt- so dass sie natürlich immer noch anwendbar sind (und auch angewendet werden)! Z.B. ist die sogenannte Mutual Information ein sehr beliebtes Maß, mit dem man erkennen kann, ob zwei Zufallsvariablen gemeinsame Information besitzen. Salopp gesagt: "Wenn ich den Terminkalender deiner Frau kenne, wie viel weiß ich dann über dich?". Und die MI nichts anderes als H(x) + H(y) - H(x,y), wobei H deine verhassten Entropien sind.

Information ist für mich die Abstraktion von Daten durch den Menschen, also wesentlich mehr als nur eine Unwahrscheinlichkeit.

Du kommst offensichtlich nicht aus der Naturwissenschaftler Fraktion, was OK ist, aber versuch zu verstehen, dass dies allenfalls eine Interpretation von Information ist- keine Definition (was sind Daten? Wie genau funktioniert diese Abstraktion- gibt es ohne Menschen keine Information?)
Wie ich schon sagte, die Shannon-Information ist anders, als das, was wir im Alltag unter Information verstehen. Letztere könnte man auch nicht so einfach mathematisch formulieren, da in der Sprache Information und Interpretation eng verknüpft ist. ( Die Zeichenkette "ESP/ITA 4:2") trägt für dich vermutlich mehr "Information" als für den durchschnittlichen Chinesen )

Ich möchte Dir wirklich dringend empfehlen, Aussagen wie

...hat aber m.E. heute keine sinnvolle Verwendung mehr.

zu unterlassen, wenn du dir da nicht absolut sicher sein kannst- und in diesem Fall liegst Du völlig falsch.

[ingeniosus]

Zitat von Hamilton

Du kommst offensichtlich nicht aus der Naturwissenschaftler Fraktion, was OK ist, aber versuch zu verstehen, dass dies allenfalls eine Interpretation von Information ist- keine Definition (was sind Daten? Wie genau funktioniert diese Abstraktion- gibt es ohne Menschen keine Information?)

Hallo Hamilton,

Ihre Auslegungen von SHANNON finde ich OK.

Er selbst hat von HARTLEY übernommen: "no psychological considerations".

Inzwischen habe ich gelesen, dass SHANNON mit seinem Entropiebegriff dem der Wärmelehre entsprechen wollte, dies ihm aber nicht ganz gelungen ist.

Nun ich komme aus der Ecke der Informationswissenschaft und ich bleibe dabei (aus meiner Sicht), dass der Entropiebegriff heute nichts mehr bringt. Manchmal wird er dem Begriff Information gleichgestellt - manchmal als reziproker Wert definiert.

Nun im Sinne einer weltweit einheitlichen Definition des Informationsbegriffes ist der Begriff Information nur in definitiver Verbindung mit dem Menschen festlegbar - wie Sie richtig annehmen.

Information ist keine Materie aber kann in Form von Daten aufgezeichnet werden. Der Begriff "Abstraktion der Daten" ist vielleicht etwas unlogisch, aber rein naturwissenschaftlich faktisch zu verstehen. Man könnte auch sagen: Information ist der für den Menschen wertvolle Inhalt der Daten.

Darf ich Ihnen meine Home empfehlen? Ich bin nur Physiker aus reinem Interesse, aber ein leidenschaftlicher Informationswissenschaftler.

Kritik ist ein Positivum!

[ingeniosus]

Zitat von Hamilton

Der Informationsbegrif aus der Inf.Theorie ist also was ganz anderes als unser alltäglicher Gebrauch des Wortes Information. Er sagt nämlich nichts über die Verwertbarkeit von Information aus, sondern eher etwas über die "Überrschung" über ein Ereeignis.

Jein, Hartley und Shannon - haben als erste die Unwahrscheinlichkeit=den Neuheitswert festgelegt. Hartley hat erstmals das Wort Information in die Physik geholt.

Sie verwendeten dazu das 2-wertige Bit für die Signale die entweder ankamen oder nicht. Man darf nicht vergessen, zu jener Zeit war Morsen und Telefonieren der letzte Schrei der Technik. Eine mathematische Berechnung mittels Logaritmus und Wahrscheinlichkeit galt als genial.

Nur wenige Jahre später wurde aber dieser Informationsbegriff bereits lächerlich gemacht, weil er eben mit der Umgangssprache nicht vereinbar war.

In der heutigen Informationswissenschaft sehe ich eher beide Festlegungen inbegriffen:
Man kann festlegen: INFORMATION ist das, was der Mensch aus aufgezeichneten Daten (Schriften) für sich herausliest, in sich verarbeitet und wieder weitergibt.
Ursächlich ist also der Mensch dabei.
Das erleichtert den Umgang mit dem Wort Information sehr. Die rein mathematische Definition wird dabei ein kleines mögliches Detail für ganz spezielle Reduktionen.

Entropie hat heute eher seine grosse Bedeutung aus der Physik vor dem Begriff und durch den Begriff Information verloren.

[ingeniosus]

Man sagt, SHANNON hat mit seinem Entropiebegriff den damals hochmodernen Begriff "Entropie" in seine Theorie miteinbauen wollen. Er hat aber etwas grundlegend Anderes geschaffen.

"En-tropie" im original physikalischem Sinne wurde konstruiert aus der Abkürzung von "energie - tropein(= ändern)"

[George]

Zitat von hhmoeller

Paul Davies beschreibt in So baut man eine Zeitmaschine unter der Überschrift So holt man Wissen aus dem Nichts ein interessantes Paradoxon:

Die folgende Parabel illustriert das verblüffendste aller Paradoxa von Zeitreisen. Ein Professor baut im Jahr 2005 eine Zeit- maschine und beschließt, in das Jahr 2010 in die Zukunft zu reisen (hier gibt es kein Problem). Nach seiner Ankunft macht er die Universitätsbibliothek ausfindig und überfliegt die aktuellen Zeitschriften. In der mathematischen Abteilung bemerkt er ein brillantes neues Theorem und notiert sich dessen Einzelheiten. Dann kehrt er in das Jahr 2005 zurück, ruft einen intelligenten Studenten zu sich und schildert ihm das Theorem in Umrissen. Der Student setzt sich hin, bringt Ordnung in den Gedankengang, schreibt eine Arbeit und veröffentlicht sie in einer Fachzeitschrift für Mathematik. Es war natürlich genau diese Zeitschrift, in der der Professor 2010 den Aufsatz gelesen hatte.
Auch hier gibt es keinen Widerspruch: Die Geschichte enthält eine konsistente kausale Schleife, weshalb strenggenommen kein Paradoxon vorliegt, sondern einfach nur eine sehr absonderliche Angelegenheit. Das Problem bezieht sich vielmehr auf den Ursprung der Information. Wo stammte das Theorem ursprünglich her? Nicht von dem Professor, denn der hat es lediglich in der Zeitschrift gelesen. Von dem Studenten jedoch auch nicht, da er es von dem Professor bekam. Es scheint, als wäre die Information über das Theorem einfach aus dem Nichts aufgetaucht.

Gibt es in der Informationstheorie einen Entropiesatz, der ein informationelles Perpetuum Mobile verbietet?

Nun ja, in dem Beispiel gibt es doch einen kleinen Fehler. Der Professor reist wieder in das Jahr 2005 zurück. Nach der ART sind ja Überlichtgeschwindigkeiten im direktem Sinne nicht möglich, ein Körper kann sich somit nicht in einer negativen Zeit bewegen (Deswegen kann die Zeit erst garnicht negativ werden, weil die Masse des Körpers zu hoch wird, um angetrieben werden zu können).

Dein Beispiel ist meiner Meinung nach ein weiterer Beweis, das die ART stimmt. Eine Information kann ja schließlich nicht aus dem Nichts kommen. Und daher sind Reisen in die Vergangenheit nicht möglich...

Gruß, George