BASH Scripting mit kleinen Beispielen: Unterschied zwischen den Versionen

Aus aredn.dg5mgj.de
Zur Navigation springenZur Suche springen
Zeile 2: Zeile 2:
 
Bei Fragen oder Verbesserungsvorschlägen melde dich via eMal an: bash (at) dg5mgj (dot) de
 
Bei Fragen oder Verbesserungsvorschlägen melde dich via eMal an: bash (at) dg5mgj (dot) de
  
−
==Einsammeln von Pegelwerten bei uns an der Donau==
+
==Einsammeln von Daten aus einer HTML-Seite==
−
Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt. Wer Auswertungen mache will, kann sich das ja auch gerne hier anschauen: <br>
+
Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt, welche Pegelwerte der Donau ausgeben.<br>
 +
Nachfolgend die Links der auszuwertenden HTML-Dateien: <br>
 
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15<br>
 
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15<br>
 
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/ingolstadt-luitpoldstrasse-10046105/tabelle?methode=wasserstand&setdiskr=15
 
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/ingolstadt-luitpoldstrasse-10046105/tabelle?methode=wasserstand&setdiskr=15
  
−
Um von beiden Standorten die Werte einsammeln zu können, habe ich '''eine kleine Schleife''' aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden.  
+
Um von beiden Standorten die Werte einsammeln zu können, habe ich '''eine kleine Schleife''' aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden. Dies ist möglich, da beide Seiten gleich aufgebaut sind.
 
  TimeStamp="`date '+%Y-%m-%d_%H%M'`"
 
  TimeStamp="`date '+%Y-%m-%d_%H%M'`"
 
  for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
 
  for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
Zeile 13: Zeile 14:
 
   MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
 
   MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
 
   Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"
 
   Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"
 +
Der Ausgabedateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird und auch ein Zeitstempel hinzugefügt wird.<br>
 
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:
 
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:
 
    
 
    
Zeile 48: Zeile 50:
 
In einem weiteren Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein "ISO-Date" <br>
 
In einem weiteren Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein "ISO-Date" <br>
 
mit lokaler Zeitkennung (MESZ) werden die RegEx etwas komplexer und wurden zum besseren Verständniss aufgeteilt.
 
mit lokaler Zeitkennung (MESZ) werden die RegEx etwas komplexer und wurden zum besseren Verständniss aufgeteilt.
−
 
 
  for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 
  for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 
   do
 
   do

Version vom 9. Juni 2024, 21:31 Uhr

Hier werde ich einige "schnelle Scriptfetzen" hinterlegen, mit denen ich auf der Konsole irgend welche Ergebnisse erreichen konnte. Nicht immer sind die Scriptfetzen 1:1 zu übernehmen, aber das Verständnis zur Shell sollte sich daraus ergeben.
Bei Fragen oder Verbesserungsvorschlägen melde dich via eMal an: bash (at) dg5mgj (dot) de

Einsammeln von Daten aus einer HTML-Seite

Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt, welche Pegelwerte der Donau ausgeben.
Nachfolgend die Links der auszuwertenden HTML-Dateien:
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/ingolstadt-luitpoldstrasse-10046105/tabelle?methode=wasserstand&setdiskr=15

Um von beiden Standorten die Werte einsammeln zu können, habe ich eine kleine Schleife aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden. Dies ist möglich, da beide Seiten gleich aufgebaut sind.

TimeStamp="`date '+%Y-%m-%d_%H%M'`"
for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
 do 
  MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
  Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"

Der Ausgabedateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird und auch ein Zeitstempel hinzugefügt wird.
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:

Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:

curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\
sed -n '/table  class="tblsort"/,$p' | sed -n '1p' |\
sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/,/g;s/<[^>]\+>//g' |\
sed -e 's/,$//g;/^$/d' > ${Ausgabedatei}

Zur Erklärung:

  • in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben
  • in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt
  • danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt
  • Nun werden die Daten aufbereitet und in eine Datei gespeichert, welche in der Variable Ausgabedatei definiert ist.

Nach einem Durchlauf wird die erzeugte Datei gelistet und dann muss nur noch die Schleife beendet werden:

ls -hal ${Ausgabedatei}
done

Auf den gelisteten HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung wesentlich erleichtert.
Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt.
Übrig gebliebene Leerzeilen und nachlaufende Kommas werden auch entfernt das Endergebnis in einer Datei gespeichert.

Der Dateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird und auch ein Zeitstempel hinzugefügt wird.

Weiterverarbeitung Dieser Daten in ein Json-Format

Von der vorhandenen CSV-Daten kann man nun auch eine Json-Datei erzeugen
Wieder beginne ich mit einer Schleife zum Einlesen der vorher aufbereiteten Daten. Es werden immer die aktuellsten Daten eingelesen:

for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 do
  File="`ls -1tr ${FilePart}*.csv|tail -1`"
  Json="`echo "${File}"|sed 's/\.csv$/.json/'`"
  sed -e 's/^\([^ ]\+\) \([^,]\+\),\(.*\)/{ "Datum": "\1", "Zeit": "\2", "Pegel": \3 }/' ${File} > ${Json}
  ls -hal ${Json}
done

In einem weiteren Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein "ISO-Date"
mit lokaler Zeitkennung (MESZ) werden die RegEx etwas komplexer und wurden zum besseren Verständniss aufgeteilt.

for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 do
  File="`ls -1tr ${FilePart}*.csv|tail -1`"
  Json="`echo "${File}"|sed 's/\.csv$/-2.json/'`"
  sed -e 's/^\(..\)\.\(..\)\.\(....\) \([^,]\+\)/\3-\2-\1T\4:00+02:00/' ${File} |\
  sed -e 's/^\([^,]\+\),\(.*\)/{ "timestamp": "\1", "value": \2, "acknowledged": "true", "from": "import" }/' > ${Json}
  ls -hal ${Json}
done

Zur Erklärung:

  • Mit den Schleifenparameter $FilePar werden alle passenden Dateien aufgelistet, nach Datum aufsteigend gelistet und nur die letzte Datenzeile ausgegeben.
    Damit ist immer die neueste Datei in Bearbeitung.
  • Aus dem Eingabedateiname wird mit sed der Ausgabdateiname erzeugt. DerString ".csv" wird ersetzt durch "-2.json"
  • In der ersten sed-Zeile wird der vorhandene Zeitstempel in das ISO-Format mit Referenz zu UTC umgewandelt.
  • die nächste sed-Zeile erzeugt nun die erforderlichen Datensätze mit Inhalt der vorhandenen Parameter und zusätzlichen Datenfeldern.
  • Am Schleifenende wird die erzeugte Datei dann mit ls gelistet.

Wie man hier erkennen kann, ist die Umwandlung in eine csv-Datei als Zwischenschritt vorteilhaft und man sollte dies auch beibehalten.


Eine Datei im Script verändern

Dabei besteht immer ein Risiko und eine Sicherung ist angebracht.
Wenn man in der Variablen $File den Dateinamen hinterlegt hat, kann man mit diesem Einzeiler schnell eine Sicherung durchführen.
Hier ein Beispiel:

$ File=$HOME/x.y
$ date >> $File
$ cp -pv $File{,.`date +%F_%H%M%S`}

Diese Komandozeile erzeugt folgenden Befehl, welchen man auch mit echo verifizieren kann.

$ echo cp -pv $File{,.`date +%F_%H%M%S`}

Natürlich kann man den Dateinamen ändern und auch den Namen der Variablen und es funktioniert auch.
Bitte nicht vergessen: Nicht mehr erforderliche alte Sicherungen entfernen