BASH Scripting mit kleinen Beispielen: Unterschied zwischen den Versionen
DG5MGJ (Diskussion | Beiträge) |
DG5MGJ (Diskussion | Beiträge) |
||
| Zeile 4: | Zeile 4: | ||
Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt. Wer Auswertungen mache will, kann sich das ja auch gerne hier anschauen: https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15 | Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt. Wer Auswertungen mache will, kann sich das ja auch gerne hier anschauen: https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15 | ||
| − | Um von beiden Standorten die Werte einsammeln zu können, habe ich eine kleine Schleife aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden. | + | Um von beiden Standorten die Werte einsammeln zu können, habe ich '''eine kleine Schleife''' aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden. |
TimeStamp="`date '+%Y-%m-%d_%H%M'`" | TimeStamp="`date '+%Y-%m-%d_%H%M'`" | ||
for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105 | for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105 | ||
| Zeile 12: | Zeile 12: | ||
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden: | Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden: | ||
| − | Abholen der Website mit curl und extrahieren der Tabellendaten mit sed: | + | '''Abholen der Website''' mit curl und extrahieren der Tabellendaten mit sed: |
curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\ | curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\ | ||
sed -n '/table class="tblsort"/,$p' | sed -n '1p' |\ | sed -n '/table class="tblsort"/,$p' | sed -n '1p' |\ | ||
| − | sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/,/g;s/<[^>]\+>//g | + | sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/,/g;s/<[^>]\+>//g' |\ |
| − | Zur Erklärung: | + | sed -e 's/,$//g;/^$/d' > ${Ausgabedatei} |
| + | '''Zur Erklärung:''' | ||
* in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben | * in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben | ||
* in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt | * in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt | ||
| − | * danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt | + | * danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt |
| + | * Nun werden die Daten aufbereitet und in eine Datei gespeichert, welche in der Variable Ausgabedatei definiert ist. | ||
| − | Nun muss nur noch die Schleife beendet werden: | + | Nun muss nur noch '''die Schleife beendet''' werden: |
ls -hal ${Ausgabedatei} | ls -hal ${Ausgabedatei} | ||
done | done | ||
| − | Auf diesen HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung erleichtert. Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt | + | Auf diesen HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung wesentlich erleichtert.<br> |
| + | Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt. <br> | ||
| + | übrig gebliebende Leerzeilen und nachlaufende Kommas werden auch enfernt und so gespeichert | ||
| + | |||
| + | Der Dateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird. | ||
| + | |||
| + | ==Weiterverarbeitung Dieser Daten in ein Json-Format== | ||
| + | Von der vorhandenen CSV-Daten kann man nun auch eine Json-Datei erzeugen, in meinem Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein ISO-Date mit lokaler Zeitkennung (MESZ) | ||
Version vom 6. Juni 2024, 09:47 Uhr
Hier werde ich einige "schnelle Scriptfetzen" hinterlegen, mit denen ich auf der Konsole irgend welche Ergebnisse erreichen konnte. Nicht immer sind die Scriptfetzen 1:1 zu übernehmen, aber das Verständnis zur Shell sollte sich daraus ergeben.
Einsammeln von Pegelwerten bei uns an der Donau
Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt. Wer Auswertungen mache will, kann sich das ja auch gerne hier anschauen: https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15
Um von beiden Standorten die Werte einsammeln zu können, habe ich eine kleine Schleife aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden.
TimeStamp="`date '+%Y-%m-%d_%H%M'`"
for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
do
MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:
Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:
curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\ sed -n '/table class="tblsort"/,$p' | sed -n '1p' |\ sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/,/g;s/<[^>]\+>//g' |\ sed -e 's/,$//g;/^$/d' > ${Ausgabedatei}
Zur Erklärung:
- in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben
- in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt
- danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt
- Nun werden die Daten aufbereitet und in eine Datei gespeichert, welche in der Variable Ausgabedatei definiert ist.
Nun muss nur noch die Schleife beendet werden:
ls -hal ${Ausgabedatei}
done
Auf diesen HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung wesentlich erleichtert.
Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt.
übrig gebliebende Leerzeilen und nachlaufende Kommas werden auch enfernt und so gespeichert
Der Dateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird.
Weiterverarbeitung Dieser Daten in ein Json-Format
Von der vorhandenen CSV-Daten kann man nun auch eine Json-Datei erzeugen, in meinem Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein ISO-Date mit lokaler Zeitkennung (MESZ)