AW: Entropie in der Informationstheorie
 

@ Gandalf

vielen Dank für den Link.

“Das, was wirklich dieses Universum ausmacht, ist völlig anders als das, was wir uns bisher gedacht haben. Und das ist ja eine riesige Überraschung! Denn das bedeutet in der allgemeinen Naturforschung, dass wir vor tödlichen Überraschungen nicht sicher sind. Es könnte alles ganz anders sein, als wie wir uns das jemals gedacht haben. Und das finde ich doch unglaublich erstaunlich. Daher muss man immer sehr vorsichtig sein mit Aussagen, die den Eindruck machen, als hätte jemand die Weisheit mit ganz großen Löffeln gefuttert.“

Erstaunlich der Unterschied zwischen Leschs zitierter Äußerung und seinem Auftreten im Fernsehen (Alpha Centauri).

Gruß

AW: Entropie in der Informationstheorie
 

Ich habe längst den Überblick über diesen von mir eröffneten Thread verloren.

Hatte inzwischen jemand eine Antwort auf die Frage "Gibt es einen 2. Hauptsatz in der Informationstheorie?"

Die Antwort, die ich mir anfangs vorgestellt habe, lautet etwa so:

"Ich bin Ingenieur für Nachrichtentechnik, meine Antwort ist: ja/nein, Quelle: ..."

Es könnte so einfach sein ...

AW: Entropie in der Informationstheorie
 

ja, wenn es denn einen Ingenieur für Nachrichtentechnik im Forum gäbe

AW: Entropie in der Informationstheorie
 

Den Studiengang gibt es zumindest schon mal.

Aber es ist tatsächlich so wie hhmoeller es beklagt. Man kann schnell den Überblick verlieren, wenn wild hin und her gepostet wird und sich ein Thread schnell hin zu off Topic entwickelt.

Eigentlich ist hier die Moderation gefragt. :o

Als frisch gebackener Moderator habe ich mich aber noch nicht daran gewagt, irgendwelche Posts zusammenzuführen oder zu verschieben. Das könnte bei unsachgemässem Vorgehen zu einem heillosen Chaos führen.

Na ja, früher oder später wird das dann wohl zur Routine werden, denke ich.

Gruss, Marco Polo

AW: Entropie in der Informationstheorie
 

Hi
Ich bin zwar nur Ingenieur fuer E-Technik, aber dazu gehoeren auch Daten und
Nachrichtenuebertragung.
Information wird in der Nachrichtentechnik wie ghier schon erlaeutert wurde ueber den Shannonschen Informationsgehalt gemessen. Der ist Proportional zu ln(1/Auftrittswahrscheinlichkeit) eines Zeichens.Ein Zeichen das immer auftritt uebertraegt so zum Beispiel keinerlei Information.
Das ist aber nicht der Begriff der Information den wir als semantischen Informationsgehalt verstehen. Darueber gibt es kaum Theorien.

Wenn du nach dem 2 ten Hauptsatz fraegst, dann muss es Prozesse geben, die die Information veraendern.Und dazu muss diese physikalisch wechselwirken. Zum Beispiel ueber den Informationskanal.
Und hier kann der Informationsgehalt verrauschen.
Da wuerde ich sagen der 2 te Hauptsatz gilt.

Man koennte auch ohne physikalischen Kanal eine nichtlineare Abbilldung
konstruieren, die zu selbigem Resultat fuehrt.
Es gibt aber auch umekehrt Moeglichkeiten zum Beispiel ueber die Autokorrelationsfunktion ein Signal zu restaurieren.

Ohne Betrachtung eines physikalischen Kanals haengt es also davon ab welche Abbildungenm Systemfunktionenich auf den Informationsgehalt wirken lassen, ob der Informationsgehalt sich veraendert.
Ich wuerde sagen in diesem rein abstrakten Raum gilt der Hauptsatz nicht.

AW: Entropie in der Informationstheorie
 

Die Informationstheorie verfügt nicht über "Hauptsätze" - das ist nicht Thermodynamik und auch keine Alternative dazu.
Es mache sich bitte jeder selber ein Bild davon.
Der Originalartikel von Shannon ist im Netz frei erhältlich z.B. unter
http://cm.bell-labs.com/cm/ms/what/s...day/paper.html

Wie sollte man den 2. Hauptsatz der TDyn auf die Infotheorie übertragen?
Es gibt ja keine Energie, Leistung, Arbeit, Wirkungsgrad, etc... in der Infotheorie!

Nachdem das hier ganz schön Offtopic gelaufen ist, weiß ich jetzt auch nicht mehr was du eigentlich genau wissen wolltest? Was es nur die Frage nach dem Hauptsatz, oder was das nur ein Zwischenprodukt für deine eigentliche Frage, die Du freundlicherweise noch mal formulieren könntest!?

AW: Entropie in der Informationstheorie
 

Entschuldige, wenn ich da unterbreche...

Wieso sollte es nicht anwendbar sein?

Eine Information besitzt immerhin auf einen bestimmten jeweiligen Zusammenhang bezogen eine positive oder auch negative Wertung(ob es zu einem übergeordneten Informationsgebilde einer Geschichte oder eines Sachverhaltes passt oder nicht)
Dann besitzt so eine Information eine statistische Aussagekraft in Form einer Bedeutung, die ebenfalls je nach dem entsprechenden Zusammenhang der "ganzen" Beschreibung..

Und wenn ein Interpreter/Empfänger/Bewusstsein oder sonst was diese verschiedenartigen Informationen entsprechend zu einer ganzen "Sachbeschreibung"(übergeordnetes Zuordnungsmuster) zusammenfügt, so werden auch entsprechende Reaktionen in der umgebenden physikalischen Welt erzielt...

Einfaches Beispiel...

Die Zeitung oder die Nachrichten berichten, das Lebensmittel morgen 100% mehr kosten.. Physikalisch führt das zu Massenbewegungen, Hamsterkäufen und zu einem ernsten Versorgungs-Engpass..

Oder das Beispiel des mißhandelten Rodney King

Da lösten die Informationen mehr aus als es die meisten wahrhaben wollten(Selbst im Wiki wird die Zahl der Getöteten und der Sachschaden um einiges untertrieben bis verharmlost, ich hatte da schon ganz anderen Zahlen gelesen)

Information bedeutet Macht!!

Und die gehorchen den selben Gesetzen wie Ladungen und Feldern...(und bewegen ganze Universen)

So wie ich in die Welt hinausschrei, so krieg ich die Welt-Reaktion zurück.

Das wird zwar auch immer gerne psychologisch gesehen, aber nicht von mir, da ich das psychische Wirken mit der Physik des Verhaltens von Ladungen und Feldern gleichsetze.

Wenn eine Nachricht eines Einzelnen Individiums über einen einzelnen Sachverhalt über einen Medienkanal auf viele Millionen Individien weiterkopiert wird, so ergeben sich daraus ungeahnte Handlungs-Energien als Reaktion darauf..

Das ist also jetzt nur meine Meinung dazu

AW: Entropie in der Informationstheorie
 

Falls die Gleichsetzerei mit dem begonnenen Tempo voranschreitet, werden bereits ab dem nästen, also dem sagenumwobenen Dienstag auf den Labortischen der Physiker Gänselebern tranchiert und mit LHC-Kanonen Spiegeleier in die Pfanne geschossen.

Oh oh..., hab ich gestern fette KaLauer gelesen... :) :D :p

AW: Entropie in der Informationstheorie
 

Tja...


Im Bauch wird eh alles zu einer Pampe, egal was für leckere Sachen du auf dem Tisch stehen hattest... Ich hoff du denkst an deinen Colesterinspiegel.. :D

AW: Entropie in der Informationstheorie
 

Verquirl doch nicht alles schon vor dem Puter tranchierem. Erst will alles gefuttert und mit einem zünftigen Warsteiner nachgespült werden. :cool:

Colesterinspiegel? Bei Schwalbennestern und Ochsenblut schau ich nicht danach, ansonsten per auto. Mein Blutdruck ist heute in der Tat noch besser als damals, als ich Feinde (vielleicht Römer? :p ) verprügeln lernte. - Das war jetzt (ab "Mein ") kein Gag, ist tatsächlich so.

Gruß Uranor

AW: Entropie in der Informationstheorie
 

@JGC
Information bezieht sich in der physikalischen und auch abstrakten Welt stets auf den shannonschen Informationsgehalt.
Auch wenn es auf meiner HP dazu einen anderen Ansatz gibt.
Mit diesem kann ich vieleicht vereinfacht die Semantik einer Information bestimmen.
Die Theorie hierzu bleibt aber wohl B.Heim und seiner aspektbezogenen Logok ueberlassen.

AW: Entropie in der Informationstheorie
 

@JGC,
ich weiß, das ist nicht leicht zu verstehen, wenn man nicht aus der Mathe-Stochastik-Ecke
kommt, aber Information im Sinne Shannons (und darüber reden wir hier) ist nicht vergleichbar mit der "Alltagsinformation", siehe dazu auch mein Posting in diesem Thread (kann man den eigentlich irgendwie verlinken?)

"Verwertbare Information" - was soll das sein? Es hängt ja immer vom Empfänger ab, ob ein Strom von Zeichen/Bits wie "DAS WETTER IST SCHÖN" interessant ist, oder nicht.
Jemand, der kein Deutsch kann, hat recht wenig davon. Jemand, der nicht weiß, wo ich wohne und wann ich das geschrieben habe, kann auch wenig damit anfangen.
Es hat schon seinen Sinn gehabt, dass sich Shannon nicht um Inhalte gekümmert hat.

Wenn der "Erwartungswert der Information" nicht "zufällig" Entropie genannt worden wäre, würde hier diese Frage vermutlich auch nie gestellt worden sein.

AW: Entropie in der Informationstheorie
 

Hm... Lass mich es mal anders versuchen..

Der Empfänger, das ist ein Stichwort..

Überleg mal....

Ist denn nicht im Grunde jedes existierende Irgendwas ein Empfänger und ein Sender gleichzeitig??

Kleine "Irgendwasse" können in der Regel nur kurze Bewegungen ausführen und auch nur entsprechend kurze Wellenlängen emittern.. Große Irgendwasse bleiben von solch winzigen "Bitlängen" wohl unbeeindruckt und diese Informationen verschwinden ganz in der statistischen Wirkung(unbewusstes Wirken). Andere kleine Etwasse werden aber sicherlich davon beeindruckt, da sie von ihrer Größe her ähnlichen Dimensionen gleichen, und untereinander auch Resonanzen und gar Rückkopplungen ausbilden können("Verständige" Kommunikation unter den beiden gleichartigen Etwassen)

Ein großes Irgendwas kann über seine Langwelligkeit seiner "Informationsbits" wiederum kaum bis gar nicht auf kleinste Irgendwasse wirken, weil die erzeugten Schwingungen total weit voneinander im EM-Spektrum auseinander liegen..

Dieser Informationsaustausch findet also immer nur zwischen gleichartigen Sender/Empfänger statt oder auch mit großen Etwassen, die in der Lage sind, bestimmte Teilfrequenzen miteinander auszutauschen(also deren Schwingungsfrequenzen über die Lamda/4, 8, 16 , 32 usw. austauschen können.

Hast du z.B. eine Gitarre? Zupf an ihr ein paar einzelne Saiten mit unterschiedlichen Griffweiten..

Du wirst selbst sehen, das dabei verschiedentlich die anderen Saiten in Resonanz mitschwingen können und andere wieder nicht..

Und ich behaupte, das genau diese Fähigkeit entscheidet, ob ein Irgendwas mit einem anderen Irgendwas Informationen austauschen kann(in Resonanz treten) Was sie dabei tatsächlich miteinander austauschen, das soll tatsächlich mal egal sein, da es in erster Linie um Polaritäten, deren Ausrichtungen, um Positionsangaben, um ihre jeweiligen Stärken und deren jeweiligen Schwing/Bewegungsverhalten geht..

Aber mindestens wird offensichtlich, ob ein Austausch auf endothermer Basis oder exothermer Basis abläuft und die entsprechenden Sender/Empfänger jeweils auch einen "Gewinn" daraus ziehen können..(ein Etwas will Energie loswerden, ein anderes Etwas will Energie aufnehmen, um zu einer stabilen Existenz zu kommen..)

Und nur darum dreht sich meiner Ansicht nach die ganze Kommunikation der Massen oder was sonst noch in der Existenz rumschwirrt...

Um Stabilität.

Machen wir es denn in unserem Leben anders??


JGC

AW: Entropie in der Informationstheorie
 

Überlege vielleicht ab und zu, was du sprichst. Es könnte ja durchaus was komplett paradoxes sein. :rolleyes:

AW: Entropie in der Informationstheorie
 

Beide Themen sind der populärwissenschaftlichen Science Fiction zuzuordnen.

Zeitreisen (Einsteins Zwillingsparadoxon) sind ein guter Werbegag A.Einsteins.

Wenn man sein Zwillingsparadoxon einmal exakt durchrechnet ist das klar.
Vor kurzem habe ich das (in meiner Home nachsehbar) gemacht.

Einsteins Verdienst ist aber, unsere mathematische Vorstellungskraft erweitert zu haben. Die Relativbewegungen ausserhalb unseres Planeten wären sonst nicht bewältigbar gewesen. So ist er ein geistiger Riese.

AW: Entropie in der Informationstheorie
 

Jein, Hartley und Shannon - haben als erste die Unwahrscheinlichkeit=den Neuheitswert festgelegt. Hartley hat erstmals das Wort Information in die Physik geholt.

Sie verwendeten dazu das 2-wertige Bit für die Signale die entweder ankamen oder nicht. Man darf nicht vergessen, zu jener Zeit war Morsen und Telefonieren der letzte Schrei der Technik. Eine mathematische Berechnung mittels Logaritmus und Wahrscheinlichkeit galt als genial.

Nur wenige Jahre später wurde aber dieser Informationsbegriff bereits lächerlich gemacht, weil er eben mit der Umgangssprache nicht vereinbar war.

In der heutigen Informationswissenschaft sehe ich eher beide Festlegungen inbegriffen:
Man kann festlegen: INFORMATION ist das, was der Mensch aus aufgezeichneten Daten (Schriften) für sich herausliest, in sich verarbeitet und wieder weitergibt.
Ursächlich ist also der Mensch dabei.
Das erleichtert den Umgang mit dem Wort Information sehr. Die rein mathematische Definition wird dabei ein kleines mögliches Detail für ganz spezielle Reduktionen.

Entropie hat heute eher seine grosse Bedeutung aus der Physik vor dem Begriff und durch den Begriff Information verloren.

AW: Entropie in der Informationstheorie
 

Man sagt, SHANNON hat mit seinem Entropiebegriff den damals hochmodernen Begriff "Entropie" in seine Theorie miteinbauen wollen. Er hat aber etwas grundlegend Anderes geschaffen.

"En-tropie" im original physikalischem Sinne wurde konstruiert aus der Abkürzung von "energie - tropein(= ändern)"

AW: Entropie in der Informationstheorie
 

Hallo Hamilton,

Ihre Auslegungen von SHANNON finde ich OK.

Er selbst hat von HARTLEY übernommen: "no psychological considerations".

Inzwischen habe ich gelesen, dass SHANNON mit seinem Entropiebegriff dem der Wärmelehre entsprechen wollte, dies ihm aber nicht ganz gelungen ist.

Nun ich komme aus der Ecke der Informationswissenschaft und ich bleibe dabei (aus meiner Sicht), dass der Entropiebegriff heute nichts mehr bringt. Manchmal wird er dem Begriff Information gleichgestellt - manchmal als reziproker Wert definiert.

Nun im Sinne einer weltweit einheitlichen Definition des Informationsbegriffes ist der Begriff Information nur in definitiver Verbindung mit dem Menschen festlegbar - wie Sie richtig annehmen.

Information ist keine Materie aber kann in Form von Daten aufgezeichnet werden. Der Begriff "Abstraktion der Daten" ist vielleicht etwas unlogisch, aber rein naturwissenschaftlich faktisch zu verstehen. Man könnte auch sagen: Information ist der für den Menschen wertvolle Inhalt der Daten.

Darf ich Ihnen meine Home empfehlen? Ich bin nur Physiker aus reinem Interesse, aber ein leidenschaftlicher Informationswissenschaftler.

Kritik ist ein Positivum!

AW: Entropie in der Informationstheorie
 

Dazu

a) in der Informationstheorie (gegründet von C. SHANNON) hat der Entropiebegriff eine andere Bedeutung als in der Wärmelehre.

b) der Begriff "perpetuum mobile" assoziiert per se sofort, dass es das nicht gibt. Ausnahme vielleicht noch: die Bewegungen des Makrokosmos....also Planeten-Elipsen um ihre Sterne oder Spin dieser (alles in eingeschränktem Rahmen)