Zipfelsinn III

[richy]

@marco
Der Vergleich hinkt etwas , denn es gibt kaum Fouriertransformationskritiker.
Oder Wiener-Chintschin Kritiker.

[Marco Polo]

Zitat von richy

@marco
Der Vergleich hinkt etwas , denn es gibt kaum Fouriertransformationskritiker.
Oder Wiener-Chintschin Kritiker.

Stimmt. Die müsste man wohl mit der Lupe suchen. Fakt dürfte aber sein: Je weniger Fachleute anwesend sind, desto weniger Beteiligung bei komplexeren Themen.

Gr., MP

[richy]

Wie haengt eine Verteilungs(dichte)funktion und die Fouriertransformiete der AKF(tau), das Spektrum, denn nun konkret zusammen ?

Da muss ich mal drüber nachdenken, im Augenblick fällt mir nichts cleveres dazu ein.

Ich meine inzwischen auch es gibt hier gar keinen eindeutigen Zusammenhang.
Wenn ich eine einfache Abbildung auf die Zufallsvariable ausfuehre, aendere ich deren Verteilungsfubktion. Z.B. mit der Inversiosnmethode
http://de.wikipedia.org/wiki/Inversionsmethode
Mit einfach meine ich , dass nur der aktuelle Wert abgebildet wird.
Und bei der Vorgehensweise aendere ich die Korreltation doch offenbar nicht zwingend.
Zu verschiedenen Verteilungen wuerde dann die selbe AKF gehoeren.

Erst wenn ich benachbarte Werte fuer die Abbildung heranzuehe, wie beim fraktionalen Integral, oder wenn ich einfach Mittelwerte bilde, werden im Ergebnis die Werte eine statistische Abaengigkeit aufweisen.

Wenn physikalische Prozesse nun tatsaechlich eine 1/x Verteilung UND ein 1/f Spektrum aufweisen (was wir noch nicht geklaert haben) so muesste beides Konsequenz einer uebergeordneten Ursache sein.
In all dem bin ich mir aber noch nicht sicher.

[richy]

Hi
@Hamilton
Meine Anfrage nach einer FFT fuer Maple hat sich erledigt.
Hier gibt es eine prima Seite mit Maple Routinen.
http://peterstone.name/Maplepgs/maple_index.html

Zwischenergebnis
*************
So ganz traue ich meinen numerischen Versuchen noch nicht.
Aber ich meine folgende Aussagen unter Vorbehalt treffen zu koennen.

1)
DER MAPLE RND GENERATOR
liefert keine perfekt gleichverteilten Zufallswerte.

2)
DAS PERIODOGRAMMD
scheint mir das selbe wie das Betragsquadrat der DFT der Zeitfunktion.
Und die Ergebnisse bei Zufallssignalen entspricht nur bedingt der theoretischen Erwartung.
Eine DFT der AKF bringt hier auch nur kaum eine Verbesserung.
Mit geeigneteren Methoden sind vielleicht die moderneren adaptiven Parameter Spektralschaetzungsverfahren gemeint, wie der Burg Algorithmus.

3)
Uber die FRAKTALE Integration erzeugtes rosa Rauschen scheint eine Gauss Verteilungsdichte aufzuweisen. Das Spektrum folgt naehrungsweise einer 1/f Verteilung.
Immerhin :-)

4)
DIE LOGISTISCHE GLEICHUNG
weist nahe (1 + SQRT(8)) eine 1/X Verteilungsdichte auf.
Aber NICHT wie man aus den von mir hier verlinkten Seiten meinen koennte ein 1/f Spektrum !
Leider, denn das waere sonst ein prima rosa Rauschgenerator.
Der Vergleich muss also scheinbar als Analogon verstanden werden.
So entspricht zum Beispiel ein Wort mit hoher Auftrittswahrscheinlichkeit einer tiefen Frequenz. Diese ist also nicht die Wortfrequenz.
Man koennte dies auch so vormulieren :
Ein Wort mit niedrigem Shannonschen Informatiosgehalt enspricht einer niedrigen Freqzenz.

Bemerkenswert ist noch, dass die AKF bei 1/X Verteilung nahezu konstant ist.

Interessant waere ob es moeglich ist einen 1/X und 1/f Zufallgenerator zu konstruieren.
Ebenso einen 1/f Generator anhand eines physikalischen Modells.

Viele Gruesse
richy

[Hamilton]

DIE LOGISTISCHE GLEICHUNG
weist nahe (1 + SQRT(8)) eine 1/X Verteilungsdichte auf.
Aber NICHT wie man aus den von mir hier verlinkten Seiten meinen koennte ein 1/f Spektrum !
Leider, denn das waere sonst ein prima rosa Rauschgenerator.
Der Vergleich muss also scheinbar als Analogon verstanden werden.
So entspricht zum Beispiel ein Wort mit hoher Auftrittswahrscheinlichkeit einer tiefen Frequenz. Diese ist also nicht die Wortfrequenz.
Man koennte dies auch so vormulieren :
Ein Wort mit niedrigem Shannonschen Informatiosgehalt enspricht einer niedrigen Freqzenz.

Bemerkenswert ist noch, dass die AKF bei 1/X Verteilung nahezu konstant ist.

Du, das sind Äpfel und Birnen- hüte dich vor solchen Aussagen.
Du kannst nicht einfach Wörtern eine Frequenz zuordnen, jedenfalls nicht so.

[richy]

Man kann Aepfel schon mit Birnen vergleichen. Im Rahmen einer Analogie.
Aber dann muss man explizit darauf hinweisen. Und das wurde hier versaeumt:
WIKI
http://de.wikipedia.org/wiki/1/f-Rauschen

# Auch die Schlagseite eines Betrunkenen kann zum Beispiel einem 1/f-Rauschen entsprechen, weil eine doppelt so schnelle Seitwärtsbewegung nur halb so heftig auftritt, wie die langsamere Seitwärtsbewegung. Eine dreimal so schnelle Seitwärtsbewegung ist dann nur dreimal schwächer zu beobachten, und so weiter.
# Ein Börsenkurs kann ebenfalls diesem Verhalten entsprechen, wenn nämlich die Kursschwankungen im gleichen Maße stärker werden, wie sie an Geschwindigkeit verlieren.

Der WIKI Artikel ist inzwischen geaendert.

In der englischsprachigen Version allerdings nicht :

In biological systems, it is present in heart beat rhythms and the statistics of DNA sequences. In financial systems it is often referred to as a long memory effect. Also, it is the statistical structure of all natural images (images from the natural environment), as discovered by David Field (1987).

Richard F. Voss and J. Clarke claim that almost all musical melodies, when each successive note is plotted on a scale of pitches, will tend towards a pink noise spectrum.[1]

Es ist hier wohl nur die Analogie gemeint, dass das Spektrum als eine Verteilung der Leistung uber die Frequenz aufgefasst wird.

Aber dagegen scheint hier fast unmissverstaendlich tatsaechlich vom Leistungsdichtespektrum die Rede :

http://books.google.de/books?id=5Z7E...sult#PPA152,M1

Das Sperktrum fuer den immitenten Uebergang der dreier Periode ins Chaos,
wie er in der logistischen Gleichung auftritt, wurde berechnet von MORI et. al 1988.

Uups habe ich an der falschen Stellle die FFT ermittelt ?
Das steht :
immitenten Uebergang der dreier Periode ins Chaos,
ich habe bei 1 + Wurzel(8) gemessen
dem Uebergang vom Chaos in die dreier Periode.
Da muss ich also nochmal ran.
Was haelts du von den obigen Aussagen ?

[Hamilton]

Nun, die Beispiele aus den Zitaten, Herz-Rhythmus, Random-Walk ...
das sind alles Zeitreihen- Zeitdiskrete Zahlenfolgen.
Du willst das aber auf eine Sequenz von Wörtern anwenden und das ist etwas anderes.
Ich glaube auch, dass doeser Exkurs nicht so viel bringt?
Warum gehst du jetzt schon seit einiger Zeit so sehr auf Periodogramme ein- ich denke, es geht um ein Informationstheoretisches Maß -- dafür sind die Verteilungen p(x) interessant, aber nicht irgendwelche Frequenzen?!

[richy]

Hi Hamilton

Warum gehst du jetzt schon seit einiger Zeit so sehr auf Periodogramme ein- ich denke, es geht um ein Informationstheoretisches Maß --

Weil in Texten wie im folgenden von einem Leistungsdichtespektrum von, DNA Sequenzen, Musik, Texten die Rede ist. Ich moechte wissen wie dies dort genau zu verstehen ist. BTW: Mit Musik ist sicherlich nicht das Audiosignal sondern die Notenfolge gemeint.

Intermittende Systeme stehen in engem Zusammenhang einer charakteristischen Struktur des Leistungssepktrums. Dem sogenannten 1/f Spektrum welches einen weiteren Hinweis auf langweitreichige Korrelation in einer reellwertigen Signalfolge liefert.
Da diese Form des Leistungsspktrums u.a auch in natuerlichen Sequenzen , Biosequenzen, Musik und Texten nachweisbar ist, ist die Frage nach einem Zusammenhang zwischen solchen Sequenzen und intermittenden Prozessen naheligend.

Ich habe hier die selben Zweifel wie du. Deshalb habe ich bei der logistischen Gleichung auch versucht dies numerisch nachzuvollziehen.(Bisher erfolglos)

Nun, die Beispiele aus den Zitaten, Herz-Rhythmus, Random-Walk ...
das sind alles Zeitreihen- Zeitdiskrete Zahlenfolgen.

Oben ist explizit "Texte" angegeben.

Will man ein Buch statistisch erfassen, so kann man jedem Wort ueber dessen Auftrittswahscheinlichkeit eine Zahl zuordnen. Aus dem Buch wird eine Zeitreihe.
Ich messe die Auftrittswahrscheinlichkeit der Merkmale und kann eine Verteilung erstellen. Damit beschaeftigen sich Linguistiker tagtaeglich.
Auch ich habe bisher immer nur Verteilungen untersucht.
Wie soll ich aber aus der Verteilung, wie in obigerm Zitat, uebehaupt auf eine Leistungsdichtedpeltrum schliessen ?
Dazu muss doch die Zeitreihe selbst, nicht die Verteilung untersucht werden.
Ich habe hier die selben Zweifel wie du.
Und auf die entsprechenden Links bin ich gestossen, weil ich deinem Vorschlag des
Periodogramms im Zusammenhang mit 1/f Rauschen nachgegangen bin.

"Physikalische" Werte fuer ein Wort waere dessen Auftrittswahrscheinlichkeit, oder shannonscher Informationsgehalt, damit auch dessen Klassennummer in der sortierten Verteilung. Oder auch die Wortlaengen .
So bin ich auch bisher vorgegangen.
Ein Text ist dann eine Folge von Auftrittswahrscheinlichkeiten oder Informationsgehalten.
Erst dann kann ich konkret sagen welche Groesse hier zum Beispiel eine Periodizitaet aufweist.

Daher geht dein Einwand vielleleicht in die richtige Richtung :

Ich denke, es geht um ein Informationstheoretisches Maß -- dafür sind die Verteilungen p(x) interessant

BTW: Mir geht es bei all dem nicht um eine semantische Information !
Ich will z.B nur wissen ; Warum existiert das Zipfsche Gesetz.
Und habe auch schon fast eine Antwort gefunden. (Dazu spaeter)

Zum Periodogramm:
Es ist in der Tat gleichgueltig ob ich auf eine Zeitfunktion eine DFT anwende und hieraus das Betragsquadrat bilde oder die DFT auf die AKF anwende.
Beides fuehrt zum Periodogramm (Betrag der FT) und ist bei Zufallssignalen zunaechst eine voellig ungeeignete Methode der Schatzung !
Wer misst misst Mist.
Es gibt zwei Versionen der AKF.

V1)
Ist ertungswerttreu, dafuer ist die Varianz falsch wiedergegeben.

V2)
In der zweiten Version naehert sich die Varianz mit zunehmender Anzahl von Abtastwerten der realen Varianz. Dafuer ist der Erwartungswert voellig falsch.
Ich habe die AKF V2) benutzt, da fuer meine Betrachtungen absolute Erwartungswerte zunaechst keine Rolle spielen.
Ein Periodogramm ist eine DFT der Version V1

Und du hattest Recht. Die Fensterrung spielt hierbei eine groessere Rolle.
In etwa akzepzabel bezueglich Erwartungs und Varianztreue wird die Schaetzung wenn ich mehrere Periodogramme mittele und dabei Welch Fenster und Bartlett Fenster benutze.
Dennoch ist das Ergebnis eher bescheiden.
Grosse Genauigkeiten erhaelt man mit adaptiven Modellen wie dem Burg Algorithmus.
Die dahinter stehende Mathematik ist recht schwierig. Die Implementation weniger, so dass ich den Algo in den 80 ern sogar mal auf dem Taschenrechner programmiert habe.
Der Burg Algo waere also das geeignete Hilfsmittel fuer spektrale Schaetzungen.
http://books.google.de/books?id=WIC4...um=2&ct=result
(BTW das Buch ist von meinem damaligen Prof. Pruefungsstoff zur digitalen Signalverarbeitung. Aus dem habe ich auch die ganzen Infos)

Den C-Quellcode gibt es in "Nuemerical Recipes in C"
http://www.fizyka.umk.pl/nrbook/c13-6.pdf
In dem Buch steht alles was man jemals braucht. Kostenlos hier online :
http://www.fizyka.umk.pl/nrbook/bookcpdf.html
Ich hab vor 15 Jahren noch 120 DM dafuer geblecht.
Dafuer gabs alle Quellcodes auch auf Diskette.

Ich glaube auch, dass dieser Exkurs nicht so viel bringt ?

Obige Erkenntnis ist doch schon etwas. Ebenso die fraktionale Integration.
Und im folgenden Beutrag versuche ich mal die Ursache des Zipfschen Gesetzes
anhand des 1/f Spektrums zu skizzieren.

[richy]

Skizze der Ursache des Zipfschen Gesetzes.

Im folgenden mochte ich ueber Analogien zum 1/f Spektrum eine Erklaerug fuer das zipfsche Gesetz finden.

Ausgangspunkt soll die Erklaerung des 1/f Rauschens physikalischer Prozesse sein.
Hier zunaechst eine schoen Grafik dazu :



Im folgenden Link gibt es einen Erklaerungsversuch fuer das 1/f Rauschen :
http://books.google.de/books?id=sB_e...esult#PPA88,M1

Wichtige Punkte :
1)
Bei, 1/f Rauschen ist die spektrake Gesamtleistung in einer log Slakierung, musikalisch also z.B einer Oktav konstant.
S(f)=c*Integral(1/f df) = c*ln(f2) - ln(f1) = c*ln(f2/f1)
Ist f2/f1 konstant so ist S(f) konstant !

In jedem Oktavintervall des Systems steckt somit die selbe Leistung.
S(200 Hz / 100 Hz) = S( 2000 Hz / 1000 Hz) entspricht 3 dB wobei der Frequenzbereich einmal aber im ersten Fall 100 Hz sind und im zweiten Fall 1000 Hz. ist.
Bei WIKI ist das schlecht (ohne Integration) erklaeet.
2)
Es muss sowohl eine untere Grenzfrequenz fu als auch eine obere Grenzfrequenz fo geben, da die Leistung nicht unbegrenzt sein kann.

3)
Da der ln fuer grosse Argumente von allen Verteilungen am langsamsten waechst, ist die 1/f Verteilung enegetisch am guenstigsten zur Ueberdeckung grosser Frequenzbereiche
Die Fiktion wieisses Rauschen natuerlich ausgeschlossen.
=>
Steht einem physikalischen System ein begrenzter Energievorrat zu Verfuegung und wird dieser ueber einen grossen Frequenzbereich verteilt, so ist mit 1/f Rauschen zu rechnen. Unter Beachtung von 2.

Analogien zur Linguistik :
******************
a) Die spektrale Leistungsdichte
enspricht zunaechst allgemein dem sprachoekonomischen Aufwand fuer eine Wahrscheinlichkeitsklasse von Woertern.
Dieser Aufwand setzt sich aus mehreren Teilen zusammen.

a1)
Beispielsweise enem physikalischen Anteil, Aufwand wie der Wortlaenge.
Um ein langes Wort zu formulieren benoetige ich mehr Energie als ein kurzes.
(Sollen beide Woerter in gleicher Zeit formuliert sein, mehr Leistung)
Daraus ergibt sich schon folgender Schluss :
Haeufig verwendete Woerter muessen kurzer sein :
Schaen wir einfach mal nach :

30 Formen stellen 31,8 % der Wörter
die, der, und, in, zu, den, das, nicht, von, sie, ist, des, sich, mit ....
Weitere 70 Formen stellen weitere 15,3 % der Wörter
... man, aber, aus, durch, wenn, nur, war, noch, werden, bei, hat, wir, was, wird, sein, einen, welche, sind, oder, um, haben, einer ...
Weitere 107 Formen stellen weitere 7,25 % der Wörter
ja, wurde, jetzt, immer, seinen, wohl, dieses, ihren, würde

Signifikant ist, dass die haeufigsten Woerter meist der Laenge drei, also kurz sind.
Die "Donaudampfschiffahrtsgesellschaft" wird selten verwendet.

a2)
Ein weiterer Aufwand ist die Auftrittwahrscheinlichkeit eines Wortes. Damit auch dessen
Shannonscher Informationsgehalt.
Je goesser die Auftrittswahrscheinlichkeit ist, umso geringer ist der Informationsgehalt.

Beispiel:
Wenn man stottert uebersteigt die geistige Informationsmenge den Uebertragungskanal.
Man senkt dem Informationsgehalt durch Wiederholung der selben Woerter.
Ebenso erfuelllen Fuellwoerter wie ahee .. diesen Zweck.

b)
Die Wortfrequenz
ergibt sich aus der Haeufigkeit des Wortes. Sie kann aber nicht ! der Frequenz der Leistungsdichte entsprechen, wenn ich die Auftrittswahrscheinlichkeit betrachte. Denn haeufige Woerter haben eine hohe Frequenz, aber geringen Aufwand, Entropie, Leistung.

c)
Die Gesamtleistung entspricht dem Gesamtaufwand eines Textes u.a. auch dessen SHANNONSCHEN Informationsgehalt.

d)
Die Evolution der Sprache oder desses Erlernen muss gesondert beruecksichtigt werden.


(Mache gerade mal ne Pause)

[richy]

Fangen wir bei d) an :
Wie erlent ein Kind eine Sprache ?
Zuerstmal hat man, wenn man noch sehr jung ist gar nicht viel zu sagen.
Damit muss in der Kindersprache nur wenig Shan.Info uebertragen werden.
Die Woerter werden kurz und haufig sein. Z.B :
Da da da , dada dada
Oder schon mit hoeherer (wenn man will semantischer) Information :
Mama Papa.
Wohl kein Zufall, dass dies in sich phonetische Wiederholungen (von Ma,Pa)sind.

BTW:
Man muss hier keinen strengen shannonschen Infogehalt verwenden.
Anschaulicher waere der Begriff des "Sprachaufwands", den ich im folgenden als Sa bezeichne.
Sa ist eine Funktion der Haeufigkeit der Wahrscheinlichkeitsklasse Sa(p(k)).
Ein Wort, dass man schon sehr oft benutzt hat ist auch mit weit geringerem Aufwand aus dem Gedaechtnis abrufbar als ein seltenes Wort.
Und auch hier kein Zufall , dass Stotterlaute wie dadada oft aus der Kindersprache stammen.
Warum ist aehhh ? eigentlich so beliebt ?
Empirisch koennte man angelehnt an Shannon folgendes Maß angeben :
Pa(p)= c*ln(1/p) + f(Wortlaenge) + g(anderer Aspekte)

Weitere Entwicklung der Sprache :
Der naechste Schritt wird es sein zwei unterschiedliche Phoneme zu verbinden :
"Auto" oder laengere Phoneme zu verwenden : "Haus, Maus"

Mit zunehmendem Alter steigt der zu uebermittelnde Informationsgehalt und damit wird auch der Aufwand der Codierung steigen.
Es werden auch seltenere, speziellere Woerter und nach 1) damit aufwendigere Woerter verwendet.
Dies ist etwas anders als bei der Vereinbarung eines Computercodes.
Hier steht die Aufgabenstellung der Shan. Infogehalt von vornerein schon fest.
http://evolutionslehrbuch.wort-und-w...08-02-z01.html
Wobei aber auch der Aspekt des Aufwandes auch hier beruecksichtigt wird :

Das Ziel ist, einen Code zu finden, mit dem die Zeichenkette mit so wenig Binärzeichen wie möglich übertragen werden kann. Man kann sich dabei zunutze machen, dass nicht alle Zeichen gleich häufig auftreten und man für Zeichen, die seltener auftreten, deshalb auch längere Sequenzen verwenden kann, wenn es dafür möglich ist, für ein Zeichen, das häufiger vorkommt, eine kürzere Codesequenz zu verwenden.

In der Sprache ergibt sich dieses Ziel schon aufgrund der evolutionaeren Lernvorganges.
Es waere nicht effizient bereits erlernte Woerter wieder zu vergessen und die Codierung zu aendern.

Und damit enthaelt eine Sprache keine gleichverteilten Wortwahrscheinlichkeiten. Die kurzen haeufigen Phoneme der Kindersprache werden beibehalten. Un dies ist praktisch, denn diese enthalten wenig Informationsgehalt und das bei geringem Aufwand Sa(p) Im Prozess des Erlernens der Sprache kommen immer mehr neue Haufigkeitsklassen hinzu, mit abnehmender Auftrittswahrscheinlichkeit.

Beim Leistungsspektrum physikalischer Vorgaenge folgt die 1/f Verteilung hauptsaechlich auch aus der konstanten Leistung pro Oktav, Frequenzverhaeltnis.
S(f)=c*Integral(1/f df) = c*ln(f2) - ln(f1) = c*ln(f2/f1)

Im Gegensatz dazu sind Haeufigkeitsklassen der Sprache disketisiert.

Berechnungen dazu in Kuerze ....