BASH Scripting mit kleinen Beispielen: Unterschied zwischen den Versionen

Aus aredn.dg5mgj.de
Zur Navigation springenZur Suche springen
Zeile 23: Zeile 23:
 
  $ for Nr in {01..21};do mkdir -v Staffel_$Nr; done
 
  $ for Nr in {01..21};do mkdir -v Staffel_$Nr; done
 
Der Nummernbereich von 1 bis 21 ist in der geschweiften Klammer angegeben und mit der führenden Null bei 01 werden immer zweistellige Werte angegeben. Die Scheifenvariable $Nr hat dann diesen Wert und es werden dir Verzeichnisse entsprechend angelegt.
 
Der Nummernbereich von 1 bis 21 ist in der geschweiften Klammer angegeben und mit der führenden Null bei 01 werden immer zweistellige Werte angegeben. Die Scheifenvariable $Nr hat dann diesen Wert und es werden dir Verzeichnisse entsprechend angelegt.
 +
 +
===Bilder unterschiedlicher Kameras mit falsche EXIF-Date===
 +
Will man von einem Ereigniss Bilder unterschiedlicher Kameras zusammenführen, so kann es sein dass bei einer die Zeit falsch eingestellt oder Sommer/Winzerzeiteinstellung falsch ist. Will man diese Bilder Chronologisch zusammenführen, so passen diese von der Reihenfolge nicht zusammen. Das kann man aber berichtigen mit dem Tool <code>exiftool</code>.
 +
 +
Als erstes sucht man sich ein Referenzbild, welches eindeutig zum selben Augenblick gemacht wurde und vergleicht die EXIF-Informationen:
 +
$ exiftool -s -time:all  DSC02467.JPG IMG_5328.JPG
 +
======== DSC02467.JPG
 +
FileModifyDate                  : 2024:09:07 17:48:16+02:00
 +
FileAccessDate                  : 2024:09:07 18:53:28+02:00
 +
FileInodeChangeDate            : 2024:09:07 18:53:27+02:00
 +
ModifyDate                      : 2024:09:07 15:48:16
 +
DateTimeOriginal                : 2024:09:07 15:48:16
 +
CreateDate                      : 2024:09:07 15:48:16
 +
SonyDateTime                    : 2024:09:07 15:48:16
 +
======== IMG_5328.JPG
 +
FileModifyDate                  : 2024:09:07 19:30:11+02:00
 +
FileAccessDate                  : 2024:09:07 19:30:14+02:00
 +
FileInodeChangeDate            : 2024:09:07 19:30:11+02:00
 +
ModifyDate                      : 2024:09:07 16:00:34
 +
DateTimeOriginal                : 2024:09:07 16:00:34
 +
CreateDate                      : 2024:09:07 16:00:34
 +
TimeZone                        : +01:00
 +
TimeZoneCity                    : London
 +
DaylightSavings                : On
 +
SubSecTime                      : 00
 +
SubSecTimeOriginal              : 00
 +
SubSecTimeDigitized            : 00
 +
SubSecCreateDate                : 2024:09:07 16:00:34.00
 +
SubSecDateTimeOriginal          : 2024:09:07 16:00:34.00
 +
SubSecModifyDate                : 2024:09:07 16:00:34.00
 +
    2 image files read
 +
Hier siht man den Vergleich einer SONY und einer Canon, wobei die Canon eine falsche Zeitzone und eine falsche Zeit hat. Die Zeitzone ist nicht schlimm, da gibt es nur beim nächsten Umstellung auf oder von Sommerzeit Probleme,welche uns hier aber nicht interessieren. Was aber Fakt ist, dass die Uhrzeit um 12 Minuten und ca 10 Sekunden vor geht. Dies kann das Exiftool berichtigen. Meine Referenz zum Umbenennen des Dateinamens ist meist das Feld '''DateTimeOriginal'''. Dieses wird nun mit folgendem Befehl modifiziert. Und zwar für alle Bilder im Verzeichis dieser Kamera:
 +
$ exiftool -DateTimeOriginal-=00:12:10 CanonEOS4000D/IMG_*.JPG
 +
  453 image files updated
  
 
===Laufenden Prozess anhalten, aber nicht killen===
 
===Laufenden Prozess anhalten, aber nicht killen===

Version vom 7. September 2024, 18:47 Uhr

Hier werde ich einige "schnelle Scriptfetzen" hinterlegen, mit denen ich auf der Konsole irgend welche Ergebnisse erreichen konnte. Nicht immer sind die Scriptfetzen 1:1 zu übernehmen, aber das Verständnis zur Shell sollte sich daraus ergeben.
Bei Fragen oder Verbesserungsvorschlägen melde dich via eMal an: bash (at) dg5mgj (dot) de

Tutorials und Links zum Lernen

  • Bei Ubuntuusers gibt es eine wunderbare Einführung in die Bash-Programmierung in deutsch:

https://wiki.ubuntuusers.de/Shell/Bash-Skripting-Guide_für_Anfänger/

  • Ein umfassendes Open-Book zu dem Thema gibt es bei Rheinwerk-Verlag ebenso in deutsch

https://openbook.rheinwerk-verlag.de/shell_programmierung/

Die Welt der Dialoge für die Shell

  • Eins
  • Zwei
  • Drei
  • Dann gibt es noch "yad" (Yet Another Dialog) welches komplexe Dialogformulare erzeugen kann:

YAD, ein Einstieg: https://wiki.ubuntuusers.de/yad/
Der YAD-Praxis-Thread: https://forums.linuxmint.com/viewtopic.php?t=296580

Einzeiler für die bash

Manchmal braucht man kein Script für einfache Aufgaben, dann reicht ein einzeiliges Skript:

Nummerierte Verzeichnisse mit kleiner Schleife erzeugen

Manchmal muss man für die Ablage von Daten Verzeichnisse mit einer fortlaufenden Nummerierung erzeugen. Das geht mit diesem Einzeiler ganz einfach:

$ for Nr in {01..21};do mkdir -v Staffel_$Nr; done

Der Nummernbereich von 1 bis 21 ist in der geschweiften Klammer angegeben und mit der führenden Null bei 01 werden immer zweistellige Werte angegeben. Die Scheifenvariable $Nr hat dann diesen Wert und es werden dir Verzeichnisse entsprechend angelegt.

Bilder unterschiedlicher Kameras mit falsche EXIF-Date

Will man von einem Ereigniss Bilder unterschiedlicher Kameras zusammenführen, so kann es sein dass bei einer die Zeit falsch eingestellt oder Sommer/Winzerzeiteinstellung falsch ist. Will man diese Bilder Chronologisch zusammenführen, so passen diese von der Reihenfolge nicht zusammen. Das kann man aber berichtigen mit dem Tool exiftool.

Als erstes sucht man sich ein Referenzbild, welches eindeutig zum selben Augenblick gemacht wurde und vergleicht die EXIF-Informationen:

$ exiftool -s -time:all  DSC02467.JPG IMG_5328.JPG
======== DSC02467.JPG
FileModifyDate                  : 2024:09:07 17:48:16+02:00
FileAccessDate                  : 2024:09:07 18:53:28+02:00
FileInodeChangeDate             : 2024:09:07 18:53:27+02:00
ModifyDate                      : 2024:09:07 15:48:16
DateTimeOriginal                : 2024:09:07 15:48:16
CreateDate                      : 2024:09:07 15:48:16
SonyDateTime                    : 2024:09:07 15:48:16
======== IMG_5328.JPG
FileModifyDate                  : 2024:09:07 19:30:11+02:00
FileAccessDate                  : 2024:09:07 19:30:14+02:00
FileInodeChangeDate             : 2024:09:07 19:30:11+02:00
ModifyDate                      : 2024:09:07 16:00:34
DateTimeOriginal                : 2024:09:07 16:00:34
CreateDate                      : 2024:09:07 16:00:34
TimeZone                        : +01:00
TimeZoneCity                    : London
DaylightSavings                 : On
SubSecTime                      : 00
SubSecTimeOriginal              : 00
SubSecTimeDigitized             : 00
SubSecCreateDate                : 2024:09:07 16:00:34.00
SubSecDateTimeOriginal          : 2024:09:07 16:00:34.00
SubSecModifyDate                : 2024:09:07 16:00:34.00
   2 image files read

Hier siht man den Vergleich einer SONY und einer Canon, wobei die Canon eine falsche Zeitzone und eine falsche Zeit hat. Die Zeitzone ist nicht schlimm, da gibt es nur beim nächsten Umstellung auf oder von Sommerzeit Probleme,welche uns hier aber nicht interessieren. Was aber Fakt ist, dass die Uhrzeit um 12 Minuten und ca 10 Sekunden vor geht. Dies kann das Exiftool berichtigen. Meine Referenz zum Umbenennen des Dateinamens ist meist das Feld DateTimeOriginal. Dieses wird nun mit folgendem Befehl modifiziert. Und zwar für alle Bilder im Verzeichis dieser Kamera:

$ exiftool -DateTimeOriginal-=00:12:10 CanonEOS4000D/IMG_*.JPG
  453 image files updated

Laufenden Prozess anhalten, aber nicht killen

Einen laufenden Prozess kann man anhalten, ohne diesen zu killen und nach einer Zeit wieder weiterlaufen lassen.

Als Beispiel läuft ein Aufräumprogramm, weches bei Fertigstellung den Rechner abschaltet. Aber man möcht schnell noch eine Aufgabe erledigen, ohne der Gefahr des Abbruchs durch das Abschalten.

Man ermittelt die PID des Prozesses und kann dann den Prozess pausieren:

$ kill -STOP ${PID}

Je nach Anforderung kann man dann den Job wieder weiterlaufen lassen:

$ kill -CONT ${PID}

Anzeigen aller Sonderzeichen von Char. 0 - 127

$ for code in {0..127}; do printf -v chr '\\%o' "${code}"; printf -v chr "${chr}"; printf -v echr "%q" "${chr}"; if [[ "${chr}" != "${echr}" ]]; then printf "%02X %-7s\n" "${code}" "${echr}"; fi; done

Ein Skript sichern, bevor es verändert wird

Dabei besteht immer ein Risiko und eine Sicherung ist angebracht.
Wenn man in der Variablen $File den Dateinamen hinterlegt hat, kann man mit diesem Einzeiler schnell eine Sicherung durchführen, welche einen eindeutigen Namen bekommt und dieser sich bei jedem Aufruf ändert, da die Sekunde im Dateinamen beinhaltet ist.
Hier ein Beispiel:

$ File=$HOME/x.y
$ date >> $File # Achtung: Das Einfügen eines Zeitstempels ist hier nur zur Demo gemacht.
$ cp -pv $File{,.`date +%F_%H%M%S`}

Diese Komandozeile erzeugt folgenden Befehl, welchen man auch mit echo verifizieren kann.

$ echo cp -pv $File{,.`date +%F_%H%M%S`}
cp -pv /home/johndoe/x.y /home/johndoe/x.y.2024-06-09_234501

Natürlich kann man den Dateinamen ändern und auch den Namen der Variablen und es funktioniert auch.

Bitte nicht vergessen: Nicht mehr erforderliche alte Sicherungen entfernen


Beispiel-Skripte

Einsammeln von Daten aus einer HTML-Seite

Es gibt hier zwei interessante Pegel von Neuburg und Ingolstadt, welche Pegelwerte der Donau ausgeben.
Nachfolgend die Links der auszuwertenden HTML-Dateien:
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/neuburg-10043708/tabelle?methode=wasserstand&setdiskr=15
https://www.hnd.bayern.de/pegel/donau_bis_kelheim/ingolstadt-luitpoldstrasse-10046105/tabelle?methode=wasserstand&setdiskr=15

Um von beiden Standorten die Werte einsammeln zu können, habe ich eine kleine Schleife aufgebaut, welche das innere Script mehrfach durchläuft und die passenden Parameter mit Variablen übergeben werden. Dies ist möglich, da beide Seiten gleich aufgebaut sind.

TimeStamp="`date '+%Y-%m-%d_%H%M'`"
for Messstelle in neuburg-10043708 ingolstadt-luitpoldstrasse-10046105
 do 
  MessOrt="`echo "${Messstelle}"|cut -d'-' -f1`"
  Ausgabedatei="Dokumente/Pegelstaende_Donau-${MessOrt^}_${TimeStamp}.csv"

Der Ausgabedateiname wird aus den Schleifendaten der Messstelle erzeugt, wobei der erste Buchstabe groß gemacht wird und auch ein Zeitstempel hinzugefügt wird.
Damit sind die Variablen aufbereitet und das Verarbeitungsskript kann aufgerufen werden:

Abholen der Website mit curl und extrahieren der Tabellendaten mit sed:

curl "https://www.hnd.bayern.de/pegel/donau_bis_kelheim/${Messstelle}/tabelle?methode=wasserstand&setdiskr=15" |\
sed -n '/table  class="tblsort"/,$p' | sed -n '1p' |\
sed -e 's/.*<tbody>//;s/<\/tr>/\n/g;s/<\/td>/,/g;s/<[^>]\+>//g' |\
sed -e 's/,$//g;/^$/d' > ${Ausgabedatei}

Zur Erklärung:

  • in der ersten Zeile wird die Webseite geholt und über eine Pipe an das nächste Programm übergeben
  • in der nächsten Zeile werden nur die Tabellendaten aus dem Datenstrom ausgelesen und weiter geschickt
  • danach werden die Tabellenüberschrift abgetrennt, die Tabellendaten aufbereitet und alle HTML-Codes entfernt
  • Nun werden die Daten aufbereitet und in eine Datei gespeichert, welche in der Variable Ausgabedatei definiert ist.

Nach einem Durchlauf wird die erzeugte Datei gelistet und dann muss nur noch die Schleife beendet werden:

ls -hal ${Ausgabedatei}
done

Auf den gelisteten HTML-Seiten sind alle Tabellendaten in einer einzigen Datenzeile vorhanden, was die Aufbereitung wesentlich erleichtert.
Die Tabellenzeilen werden in Datenzeilen umgewandelt, die Datenfelder als CSV aufbereitet und jegliches HTML entfernt.
Übrig gebliebene Leerzeilen und nachlaufende Kommas werden auch entfernt und das Endergebnis in einer Datei gespeichert.

Weiterverarbeitung Dieser Daten in ein Json-Format

Von der vorhandenen CSV-Daten kann man nun auch eine Json-Datei erzeugen
Wieder beginne ich mit einer Schleife zum Einlesen der vorher aufbereiteten Daten. Es werden immer die aktuellsten Daten eingelesen:

for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 do
  File="`ls -1tr ${FilePart}*.csv|tail -1`"
  Json="`echo "${File}"|sed 's/\.csv$/.json/'`"
  sed -e 's/^\([^ ]\+\) \([^,]\+\),\(.*\)/{ "Datum": "\1", "Zeit": "\2", "Pegel": \3 }/' ${File} > ${Json}
  ls -hal ${Json}
done

In einem weiteren Beispiel mit zusätzlichen Steuerinformationen und Wandlung in ein "ISO-Date"
mit lokaler Zeitkennung (MESZ) werden die RegEx etwas komplexer und wurden zum besseren Verständniss aufgeteilt.

for FilePart in Dokumente/Pegelstaende_Donau-Neuburg Dokumente/Pegelstaende_Donau-Ingolstadt
 do
  File="`ls -1tr ${FilePart}*.csv|tail -1`"
  Json="`echo "${File}"|sed 's/\.csv$/-2.json/'`"
  sed -e 's/^\(..\)\.\(..\)\.\(....\) \([^,]\+\)/\3-\2-\1T\4:00+02:00/' ${File} |\
  sed -e 's/^\([^,]\+\),\(.*\)/{ "timestamp": "\1", "value": \2, "acknowledged": "true", "from": "import" }/' > ${Json}
  ls -hal ${Json}
done

Zur Erklärung:

  • Mit den Schleifenparameter $FilePar werden alle passenden Dateien aufgelistet, nach Datum aufsteigend gelistet und nur die letzte Datenzeile ausgegeben.
    Damit ist immer die neueste Datei in Bearbeitung.
  • Aus dem Eingabedateiname wird mit sed der Ausgabdateiname erzeugt. DerString ".csv" wird ersetzt durch "-2.json"
  • In der ersten sed-Zeile wird der vorhandene Zeitstempel in das ISO-Format mit Referenz zu UTC umgewandelt.
  • die nächste sed-Zeile erzeugt nun die erforderlichen Datensätze mit Inhalt der vorhandenen Parameter und zusätzlichen Datenfeldern.
  • Am Schleifenende wird die erzeugte Datei dann mit ls gelistet.

Wie man hier erkennen kann, ist die Umwandlung in eine csv-Datei als Zwischenschritt vorteilhaft und man sollte dies auch beibehalten.


PDF-Dateien selbst verkleinern

Es gibt zwar viele kostenlose Tools im Internet mit denen man seine PDF-Dateien verkleinern lassen kann, aber mir ist das nicht geheuer und so eine Verkleinerung kann man geschwind selber machen. Grundstein ist das Tool ps2pdf, welches auch PDF-Dateien einlesen kann. Mit einigen Parametern versorgt kann es diese Aufgabe erfüllen. ABER: CLI-Eingabe mit allen Optionen und Parametern. Schon schrecken die meisten zurück. Ein bisschen CLI brauchen wir aber doch zum Installieren vom Verarbeitungstool ps2pdf: sudo apt install ps2pdf

Zur Veranschaulichung, wie man so etwas auch mit Hilfe eines Dialogprogrammes (yad) von der Shell auf die X-Oberfläche bringt, habe ich das hier abgelegt.
Das script bekommt einen Ablageort, welcher auch in der PATH-Variable ist und kann somit gleich mit seinem Namen aufgerufen werden.

/usr/local/bin/PDFshrink

#!/bin/bash
###############################################################################
# verkleinern von PDF-Dateien durch komprimieren der enthaltenen Images
# Dazu wird "ps2pdf" benutzt und für den Dialog "yad"
# 
###############################################################################
#* Datum	Name	Beschreibung der Änderung
#* 2024-07-03	Rudi	Erster Entwurf zur Alias-Ablösung und Vereinfachung 
###############################################################################

if [ "`which ps2pdf`" = "" ]; then echo "Programm ps2pdf ist nicht installiert"; exit 7; fi
if [ "`which yad`" = "" ]; then echo "Programm yad ist nicht installiert"; exit 7; fi

usage()
 {
   echo "Usage: $0 Quellpfad/Quelldatei.pdf Zielpfad/Zieldatei.pdf"
   exit 1
 }

if [[ $# -lt 1 ]]; then usage; fi

QuellPfad="`echo "$1"|sed -e 's/\(.*\/\).*/\1/'`"
QuellDatei="`basename "$1"`"

ZielPfad="`echo "$2"|sed -e 's/\(.*\/\).*/\1/'`"
ZielDatei="`basename "$2"`"

if [ "$ZielPfad" = "" ]; then ZielPfad="$QuellPfad"; fi
if [ "$ZielDatei" = "" ]; then ZielDatei="`echo "$QuellDatei"|sed -e 's/\(.*\)\./\1_klein./'`"; fi
echo "$0 $1 $2" | tee /tmp/PDFshrink.log
echo '' | tee -a /tmp/PDFshrink.log
echo -e "\nQuellPfad=$QuellPfad\nQuellDatei=$QuellDatei\nZielPfad=$ZielPfad\nZielDatei=$ZielDatei" | tee -a /tmp/PDFshrink.log

echo '' | tee -a /tmp/PDFshrink.log

Antwort=$(yad --form --window-icon=pdfchain \
  --align=center --geometry=800x240 \
  --title="PDFshrink : PDF-Datei verkleinern" \
  --text="\nMit diesem Tool kann man PDF-Dateien verkleinern, welche viele Bilddateien mit großer Auflösung enthalten.\nDie Feldinhalte beschreiben Quell- und Zielangaben und können auch angepasst werden.\n" \
  --text-align=center \
  --field="Quell-Datei:" "$QuellDatei" \
  --field="Quell-Pfad:" "$QuellPfad" \
  --field="Ziel-Datei:" "$ZielDatei" \
  --field="Ziel-Pfad:" "$ZielPfad" \
  --button="gtk-cancel:1" --button="gtk-ok:0" )
RTC=$?

echo "$Antwort" >> /tmp/PDFshrink.log
IFS='|' read -ra FeldArr <<< "$Antwort"

if [ $? -gt 0 ]
 then
  echo "Programmabbruch" | tee -a /tmp/PDFshrink.log
  exit 1
fi

echo "ps2pdf -dDownsampleColorImages=true -dColorImageResolution=150 -dDownsampleGrayImages=true -dGrayImageResolution=150 -dDownsampleMonoImages=true -dMonoImageResolution=200 ${FeldArr[1]}${FeldArr[0]} ${FeldArr[3]}${FeldArr[2]}" | tee -a /tmp/PDFshrink.log

ps2pdf -dDownsampleColorImages=true -dColorImageResolution=150 -dDownsampleGrayImages=true -dGrayImageResolution=150 -dDownsampleMonoImages=true -dMonoImageResolution=200 ${FeldArr[1]}${FeldArr[0]} ${FeldArr[3]}${FeldArr[2]} 2>&1 | tee -a /tmp/PDFshrink.log
exit $?
#################################[end-of-file]#################################

Zur Erklärung: Das Skript kann aus dem Dateimanager mit einem "öffnen mit" und der Auswahl PDFshrink gestartet werden. Dazu muss beim ersten mal die Datei direkt angegeben und dann zur Liste hinzugefügt werden. Ab dann kann man das Skript unter "öffnen mit" direkt auswählen.
Der Dateimanager übergibt dann den vollen Dateipfad an das Skript, welches diesen als Pfad und Dateiname aufteilt.
Die neue, verkleinerte Datei, wird im selben Pfad gespeichert und im Dateinamen wird ein "_klein" vor den Punkt und der Dateiendung eingefügt.

Diese Parameter werden mit dem Dialogprogramm YAD zu Änderung angezeigt und mit [OK] wird die Aktion ausgeführt.

Die eigentliche Aktion ist:

ps2pdf -dDownsampleColorImages=true -dColorImageResolution=150 -dDownsampleGrayImages=true -dGrayImageResolution=150 \
-dDownsampleMonoImages=true -dMonoImageResolution=200 Original.pdf Verkleinerte.pdf

Somit werden alle Typen von Bildern in der Auflösung verringert und als neues Dokument gespeichert.

Wichtig: Existiert die Ausgabedatei, wird diese ohne weitere Meldung überschrieben!

Zur Fehleranalyse entsteht eine Logdatei: /tmp/PDFshrink.log welche bei jedem Aufruf überschrieben wird.