BASH Scripting mit kleinen Beispielen: Unterschied zwischen den Versionen

Aus aredn.dg5mgj.de
Zur Navigation springenZur Suche springen
Zeile 9: Zeile 9:
 
   do  
 
   do  
 
   MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
 
   MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
 +
  Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"
 +
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:
 
    
 
    
 
Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:
 
Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:
 
  curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\
 
  curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\
−
  sed -n '/table  class="tblsort"/,$p' | sed -n '1p'\
+
  sed -n '/table  class="tblsort"/,$p' | sed -n '1p' |\
 
  sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/\t/g;s/<[^>]\+>//g' > ${Ausgabedatei}
 
  sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/\t/g;s/<[^>]\+>//g' > ${Ausgabedatei}
 
Zur Erklärung:  
 
Zur Erklärung:  
Zeile 19: Zeile 21:
 
* danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt<br>Anschließend wird die Ausgabe in eine Datei geleitet, welche in der Variable Ausgabedatei definiert ist.
 
* danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt<br>Anschließend wird die Ausgabe in eine Datei geleitet, welche in der Variable Ausgabedatei definiert ist.
  
−
Auf dieser HTML-Seite sind alle Tabellendaten in einer Datenzeile vorhanden, was die Aufbereitung erleichtert.
+
Nun muss nur noch die Schleife beendet werden:
 +
ls -hal ${Ausgabedatei}
 +
done
 +
 
 +
Auf diesen HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung erleichtert. Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt

Version vom 6. Juni 2024, 09:29 Uhr

Hier werde ich einige "schnelle Scriptfetzen" hinterlegen, mit denen ich auf der Konsole irgend welche Ergebnisse erreichen konnte. Nicht immer sind die Scriptfetzen 1:1 zu übernehmen, aber das Verständnis zur Shell sollte sich daraus ergeben.

Einsammeln von Pegelwerten bei uns an der Donau

Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt. Wer Auswertungen mache will, kann sich das ja auch gerne hier anschauen: https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15

Um von beiden Standorten die Werte einsammeln zu können, habe ich eine kleine Schleife aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden.

TimeStamp="`date '+%Y-%m-%d_%H%M'`"
for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
 do 
  MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
  Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"

Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:

Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:

curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\
sed -n '/table  class="tblsort"/,$p' | sed -n '1p' |\
sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/\t/g;s/<[^>]\+>//g' > ${Ausgabedatei}

Zur Erklärung:

  • in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben
  • in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt
  • danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt
    Anschließend wird die Ausgabe in eine Datei geleitet, welche in der Variable Ausgabedatei definiert ist.

Nun muss nur noch die Schleife beendet werden:

ls -hal ${Ausgabedatei}
done

Auf diesen HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung erleichtert. Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt