Zurück...

Programmiersprache Julia

Hier finden Sie die Datenbeispiele zum Buch

Datenanalyse mit Julia
Einstieg in die Datenanalyse mit der Programmiersprache Julia

zum Download:

Das Buch bei Amazon:

 

Video Datenanalyse mit Julia, eine Übersicht:

YouTube-Link

Video nVIDIA Jetson Nano und Julia:

YouTube-Link
Julia-Skript nano_Deskriptive Statistik.jl
Beispieldatensatz Rotwein

Julia-Versionshinweis:

Julia ist zurzeit eine sehr lebhafte Programmiersprache und von den Paketentwicklern abhängig. Das kann Anpassungen mit sich bringen und dass Julia und JuliaPro verschiedene Entwicklungsstände zeigen. Dadurch besteht die Möglichkeit, dass Sie Warnmeldungen erhalten, dass Funktionen oder Funktionsaufrufe nicht mehr aktuell (deprecated) sind. Hier ein Beispiel:

    ┌ Warning: `getindex(df::DataFrame, col_ind::ColumnIndex)` is deprecated, use `df[!, col_ind]` instead.
    │   caller = (::getfield(StatsModels, Symbol("##18#19")){DataFrame})(::Symbol) at modelframe.jl:145
    └ @ StatsModels C:\Users\guent\.juliapro\JuliaPro_v1.2.0-1\packages\StatsModels\pBxdt\src\modelframe.jl:145
    ┌ Warning: `getindex(df::DataFrame, col_ind::ColumnIndex)` is deprecated, use `df[!, col_ind]` instead.
    │   caller = check_non_redundancy!(::StatsModels.Terms, ::DataFrame) at modelframe.jl:84
    └ @ StatsModels C:\Users\guent\.juliapro\JuliaPro_v1.2.0-1\packages\StatsModels\pBxdt\src\modelframe.jl:84
    ...

Ich versuche im Skript diesen Anpassungen zu folgen. Achten Sie deswegen bitte auf Versionshinweise zum jeweiligen Kapitel! Diese gelten - wenn die geänderten Pakete Anwendung finden - auch für die Folgekapitel.

Hinweis zum Julia-Skript:

Im Julia-Skript finden Sie möglicherweise auskommentierte Code-Zeilen (z. B. # show(anova(LinReg))), die als Ausführungsvariante dienen. Zum Ausführen löschen Sie einfach das Kommentarzeichen #.

Die Julia-Skripts können im Julia-Terminal mit include(“Skript-Bezeichnung.jl”) geladen und ausgeführt werden.

Kapitel

Datensatz

Beschreibung / Skript

4.1

Daten.csv

Juno / Atom

Eine einfache csv-Datei zum Kennenlernen der Juno-Funktionalitäten

5.1

Text.txt

Daten lesen

Eine einfache txt-Datei als Kapitel- Beispieldatei und Skripte:

Tabelle 9: Daten_zeilenweise_lesen.jl

5.2

 

Daten speichern

1. Skript: Daten speichern Beispiel 1.jl
2. Skript: Daten speichern Beispiel 2.jl

5.3

Normalverteilung.csv

Daten im CSV-Format ...

1. Skript: CSV_lesen_1.jl
2. Skript: CSV_lesen_schreiben.jl

9

 

Datenbank

Zur Ausprägung für Ihre MySQL-Datenbank das Beispiel-Skript MySQL_Beispiel.jl.

10.1

Rotwein.csv

Rotwein_missing.csv

Weisswein.csv

Die Beispieldatensätze Rotwein und Weißwein als CSV-Datei

Quelle:
P. Cortez, A. Cerdeira, F. Almeida,
T. Matos and J. Reis.
Modeling wine preferences by data mining
from physicochemical properties.
In Decision Support Systems,
Elsevier, 47(4):547-553. ISSN: 0167-9236.

10.2

 

Deskriptive Statistik

1. Julia-Skript: CSV_lesen_Rotwein.jl
2. Julia-Skript: Deskriptive Statistik.jl
3. Julia-Skript: Boxplot.jl

Anpassungen aufgrund einer höheren Julia-Version:

  • Geänderter Aufruf bestimmter Spalten eines DataFrames:
  • Alt: Rotwein[:residual_sugar]
  • Neu: Rotwein[!,:residual_sugar]

Diese Anpassung gilt für alles Skripts, die das Pakte DataFrames verwenden!

10.4.1

 

QQ-Plot

Julia-Skript zur Erstellung eines QQ-Plots: QQ_Plot.jl

10.4.6

ApproxNormalverteilung.csv

Boxenstopp Verteilung

Julia-Skript: ApproxNormalverteilung.jl

Zufallsdaten x die mit dem Mittelwert 0 und der Standardabweichung 1 an eine Normalverteilung angenähert sind.

10.4.7

NormalVergleich.csv

F-Test

NormalVergleich beinhaltet die drei Vektoren x, y und z, die mit 100 Zufallszahlen belegt sind (F-Test, t-Test)
Julia-Skript F-Test.

10.4.9

Chargen.csv

Varianzanalyse ANOVA

Chargen.csv beinhaltet die Daten zur ANOVA.
Julia-Skript: ANOVA

10.5.1

 

Einfaches lineares Modell

Julia-Skript: LinModell.jl

Anpassungen aufgrund einer höheren Julia-Version:

    Im Zusammenhang mit DataFrames-Funktionen:

  • Alt: show(Rotwein[12:13])
  • Neu: show(Rotwein[:,12:13])

 

10.5.2

 

Multiple lineare Regression

Julia-Skript: MLRModell.jl

10.5.3

shuttle.csv

Verallgemeinerte lineare Modelle (GLM)

Julia-Skript: GLM.jl

Anpassungen aufgrund einer höheren Julia-Version:

  • Das DataFrame shuttle wird im nachfolgenden Code geändert und um das zu ermöglichen, muss das Argument copycols = true der Funktion CSV.read() zugefügt werden.

10.6.1

 

Hauptkomponentenanalyse (PCA)

Julia-Skript: PCA.jl
(Hier ist die Einstellung des R-Home-Verzeichnisses wichtig. Siehe Buch Seite 274, Fußnote 145! )

Korrektur des RCall-Aufrufes zur Darstellung des fa.diagrams:

    R"fa.diagram($PCA_Modell, cut = 0.5, cex = 0.8, rsize = 0.5)"

 

10.6.2

 

Faktorenanalyse

Julia-Skript: FA.jl
(Hier ist die Einstellung des R-Home-Verzeichnisses wichtig. Siehe Buch Seite 274, Fußnote 145! )

10.6.3

Rotwein_HK.csv

Clusteranalyse

Julia-Skript: Cluster.jl

Anpassungen aufgrund einer höheren Julia-Version:

  • Explizite Angabe der Datenanordnung zur Distanzberechnung:
    DistanzMatrix = pairwise(Euclidean(), Cluster_Daten, dims = 2)
  • Eindeutigere Argument-Übergabe zur Clusterungsmethode:
    Cluster = hclust(DistanzMatrix, linkage = :ward)

10.6.4

Kyphosis.csv

Entscheidungsbaum

Beispiel Kyphosis:
Julia-Skript: Entscheidungsbaum.jl

Beispiel Rotwein:
Julia-Skript: Entscheidungsbaum_Rotwein.jl
Beispiel für trainierten Baum: Entscheidungsbaum Rotwein.txt
Testergebnis Rotwein Entscheidungsbaum.xlsx

10.6.5

Rotwein.csv

Maschinelles Lernen mit Flux

Julia-Skript: Flux_Rotwein.jl

Julia-Skript-Anpassungen aufgrund Julia 1.3.1, Flux 10.1: Flux_Rotwein_Flux10_1.jl

Einen verständlicheren Literaturhinweis zur Mathematik der Neuronalen Netze...

 

... und einen weiterführenden Hinweis:

 

11

NormalVergleich.csv

Funktionen schreiben

Skript mit integrierter FTest-Funktion: FTest_integriert.jl
Skript mit inkludierter FTest-Funktion: Test_FTest.jl
Skript der F-Test-Funktion FTest(): FTest.jl
Hinweis: Das FTest.jl-Skript muss im gleichen Verzeichnis wie das Test_FTest.jl stehen!

Seitenanfang 

Hat der Inhalt Ihnen weitergeholfen und Sie möchten diese Seiten unterstützen?

Impressum

Datenschutz