Wetterdaten mit Linux aufzeichnen und verarbeiten - Versionsgeschichte

Bergeruw: /* Visualisierung */

2017-01-24T06:33:14Z

‎Visualisierung

Bergeruw: /* Was soll das hier? */

2017-01-24T06:31:16Z

‎Was soll das hier?

Bergeruw: /* Diagramme mit gnuplot */

2014-05-06T19:09:58Z

‎Diagramme mit gnuplot

Bergeruw: /* Scripte */

2014-05-06T19:09:30Z

‎Scripte

Bergeruw: /* Was soll das hier? */

2014-05-06T19:06:36Z

‎Was soll das hier?

Bergeruw am 7. Juni 2013 um 07:41 Uhr

2013-06-07T07:41:18Z

Bergeruw: /* Datenbank */

2013-06-07T07:38:09Z

‎Datenbank

Bergeruw: /* Allgemeines */

2013-06-07T07:31:02Z

‎Allgemeines

Bergeruw: /* Luftdruck mit einem BMP085 */

2013-06-07T07:28:09Z

‎Luftdruck mit einem BMP085

Bergeruw: /* Luftdruck mit einem BMP085 */

2013-06-07T07:26:46Z

‎Luftdruck mit einem BMP085

@@ Zeile 268: / Zeile 268: @@
 [[Bild:Temp plot.png|thumb|200px|Temperaturverlauf über 48h]]
 [[Bild:Heatmap temperature.png|thumb|200px|Temperaturverlauf über 360 Tage als Heatmap]]
-Zur Erzeugung der Diagramm-Bilder für die [http://bergeruw.spdns.org/~bergeruw/temp/index.php Webseite] wird das Kommandozeilen-Tool [http://www.gnuplot.info/ gnuplot] verwendet. Innerhalb verschiedener [[Wetterdaten mit Linux aufzeichnen und verarbeiten#Scripte|Tcl-Scripte]] werden dazu die jeweiligen Messwerte aus den entsprechenden Datenbanktabellen gelesen und angepasst sowie gnuplot über eine [http://de.wikipedia.org/wiki/Pipe_(Informatik) Pipe] aufgerufen, parametrisiert und die Erzeugung der Diagramm-Bilder gestartet.
+Zur Erzeugung der Diagramm-Bilder für die [http://bergeruw.spdns.org/~pi/temp/index.php Webseite] wird das Kommandozeilen-Tool [http://www.gnuplot.info/ gnuplot] verwendet. Innerhalb verschiedener [[Wetterdaten mit Linux aufzeichnen und verarbeiten#Scripte|Tcl-Scripte]] werden dazu die jeweiligen Messwerte aus den entsprechenden Datenbanktabellen gelesen und angepasst sowie gnuplot über eine [http://de.wikipedia.org/wiki/Pipe_(Informatik) Pipe] aufgerufen, parametrisiert und die Erzeugung der Diagramm-Bilder gestartet.
 Als Darstellungformen wurden zwei Diagramm-Arten gewählt:
-* [http://bergeruw.dyndns.org/~bergeruw/temp/ Messwertverlauf über die Uhrzeit] → einfaches xy-Diagramm
+* [http://bergeruw.dyndns.org/~pi/temp/ Messwertverlauf über die Uhrzeit] → einfaches xy-Diagramm
-* [http://bergeruw.dyndns.org/~bergeruw/temp/heatmaps.php Messwertverlauf über Datum '''und''' Uhrzeit] (also dreidimensional) → [http://de.wikipedia.org/wiki/Heatmap Heatmap-Diagramm]
+* [http://bergeruw.dyndns.org/~pi/temp/heatmaps.php Messwertverlauf über Datum '''und''' Uhrzeit] (also dreidimensional) → [http://de.wikipedia.org/wiki/Heatmap Heatmap-Diagramm]
 ===Ansteuerung eines LC-Display===

@@ Zeile 7: / Zeile 7: @@
 Angefangen hat die Geschichte eigentlich nur mit ein paar Experimenten mit Temperatursensoren an diversen Mikrocontroller-Boards (z.B. [[BLIT2008-Board mit 1-Wire]] und [[BLIT2008-Board-Thermo]]). Irgendwann kam der Wunsch auf, diese Temperaturmessdaten dauerhaft mitzuschreiben, zu archivieren (z.B. [[BLIT-Board-SD-Card|auf einer, an einem Mikrocontroller angeschlossenen SD-Karte]]) und die Verläufe in geeigneter Form anzuzeigen. Die Ergebnisse waren aber nicht allzu befriedigend, was an den beschränkten Ressourcen und Möglichkeiten der eingesetzten Mikrokontroller lag.
-Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: [http://bergeruw.spdns.org/~bergeruw/temp/ Das Klima bei Uwe].
+Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: [http://bergeruw.spdns.org/~pi/temp/ Das Klima bei Uwe].
 Dieser Wiki-Artikel soll ein wenig von den Techniken berichten, die hinter diesem System stecken. Vielleicht kann der eine oder andere Interessierte ein paar Anregungen für eigene Experimente finden.

@@ Zeile 268: / Zeile 268: @@
 [[Bild:Temp plot.png|thumb|200px|Temperaturverlauf über 48h]]
 [[Bild:Heatmap temperature.png|thumb|200px|Temperaturverlauf über 360 Tage als Heatmap]]
-Zur Erzeugung der Diagramm-Bilder für die [http://bergeruw.dyndns.org/~bergeruw/temp/index.php Webseite] wird das Kommandozeilen-Tool [http://www.gnuplot.info/ gnuplot] verwendet. Innerhalb verschiedener [[Wetterdaten mit Linux aufzeichnen und verarbeiten#Scripte|Tcl-Scripte]] werden dazu die jeweiligen Messwerte aus den entsprechenden Datenbanktabellen gelesen und angepasst sowie gnuplot über eine [http://de.wikipedia.org/wiki/Pipe_(Informatik) Pipe] aufgerufen, parametrisiert und die Erzeugung der Diagramm-Bilder gestartet.
+Zur Erzeugung der Diagramm-Bilder für die [http://bergeruw.spdns.org/~bergeruw/temp/index.php Webseite] wird das Kommandozeilen-Tool [http://www.gnuplot.info/ gnuplot] verwendet. Innerhalb verschiedener [[Wetterdaten mit Linux aufzeichnen und verarbeiten#Scripte|Tcl-Scripte]] werden dazu die jeweiligen Messwerte aus den entsprechenden Datenbanktabellen gelesen und angepasst sowie gnuplot über eine [http://de.wikipedia.org/wiki/Pipe_(Informatik) Pipe] aufgerufen, parametrisiert und die Erzeugung der Diagramm-Bilder gestartet.
 Als Darstellungformen wurden zwei Diagramm-Arten gewählt:
 * [http://bergeruw.dyndns.org/~bergeruw/temp/ Messwertverlauf über die Uhrzeit] → einfaches xy-Diagramm
 * [http://bergeruw.dyndns.org/~bergeruw/temp/heatmaps.php Messwertverlauf über Datum '''und''' Uhrzeit] (also dreidimensional) → [http://de.wikipedia.org/wiki/Heatmap Heatmap-Diagramm]
 ===Ansteuerung eines LC-Display===

@@ Zeile 240: / Zeile 240: @@
 =Software=
 ==Scripte==
-Zum Auslesen der Sensoren am 1-wire- und I²C-Bus, zum Generieren der Diagramme für die kleine [http://bergeruw.dyndns.org/~bergeruw/temp/ Webseite] und der Ansteuerung des angeschlossenen LC-Displays werden eine Reihe von [http://de.wikipedia.org/wiki/Tcl TCL]-Scripte verwendet. Jedes dieser Scripte läuft in einer eigenen [http://de.wikipedia.org/wiki/GNU_Screen Screen-Session], da jeweils ein paar Kontrollausgaben zu den gerade ablaufenden Aktionen getätigt werden.
+Zum Auslesen der Sensoren am 1-wire- und I²C-Bus, zum Generieren der Diagramme für die kleine [http://bergeruw.spdns.org/~bergeruw/temp/ Webseite] und der Ansteuerung des angeschlossenen LC-Displays werden eine Reihe von [http://de.wikipedia.org/wiki/Tcl TCL]-Scripte verwendet. Jedes dieser Scripte läuft in einer eigenen [http://de.wikipedia.org/wiki/GNU_Screen Screen-Session], da jeweils ein paar Kontrollausgaben zu den gerade ablaufenden Aktionen getätigt werden.
 Folgende Tcl-Scripte laufen derzeit im System:
-* i2c_adc_db_neu.tcl → Zyklisches Auslesen der Sensoren am I²C-Bus (jede Minute), Abspeichern der Werte in eine Datenbanktabelle und Generierung des entsprechenden Diagramms für die [http://bergeruw.dyndns.org/~bergeruw/temp/ Webseite] (jede zwei Minuten)
+* i2c_adc_db_neu.tcl → Zyklisches Auslesen der Sensoren am I²C-Bus (jede Minute), Abspeichern der Werte in eine Datenbanktabelle und Generierung des entsprechenden Diagramms für die [http://bergeruw.spdns.org/~bergeruw/temp/ Webseite] (jede zwei Minuten)
-* owfs2sqlite.tcl → Auslesen der Sensoren am 1-wire-Bus (jede Minute), Abspeichern der Werte in Datenbanktabellen und Generierung der entsprechenden Diagramme für die [http://bergeruw.dyndns.org/~bergeruw/temp/ Webseite] (jede zwei Minuten)
+* owfs2sqlite.tcl → Auslesen der Sensoren am 1-wire-Bus (jede Minute), Abspeichern der Werte in Datenbanktabellen und Generierung der entsprechenden Diagramme für die [http://bergeruw.spdns.org/~bergeruw/temp/ Webseite] (jede zwei Minuten)
-* heatmap_generator.tcl → Generierung der Heatmap-Diagramme für die [http://bergeruw.dyndns.org/~bergeruw/temp/heatmaps.php Webseite] (jede zwei Stunden); die Werte werden dazu aus den entsprechenden Datenbanktabellen gelesen
+* heatmap_generator.tcl → Generierung der Heatmap-Diagramme für die [http://bergeruw.spdns.org/~bergeruw/temp/heatmaps.php Webseite] (jede zwei Stunden); die Werte werden dazu aus den entsprechenden Datenbanktabellen gelesen
 * display_weather.tcl → Auslesen der aktuellen Werte aus den entsprechenden Datenbanktabellen und deren Anzeige auf dem [[Wetterdaten mit Linux aufzeichnen und verarbeiten#Ansteuerung_eines_LC-Display|LC-Display]] (Uhrzeit jede Sekunde; alle anderen Werte jede Minute)

@@ Zeile 7: / Zeile 7: @@
 Angefangen hat die Geschichte eigentlich nur mit ein paar Experimenten mit Temperatursensoren an diversen Mikrocontroller-Boards (z.B. [[BLIT2008-Board mit 1-Wire]] und [[BLIT2008-Board-Thermo]]). Irgendwann kam der Wunsch auf, diese Temperaturmessdaten dauerhaft mitzuschreiben, zu archivieren (z.B. [[BLIT-Board-SD-Card|auf einer, an einem Mikrocontroller angeschlossenen SD-Karte]]) und die Verläufe in geeigneter Form anzuzeigen. Die Ergebnisse waren aber nicht allzu befriedigend, was an den beschränkten Ressourcen und Möglichkeiten der eingesetzten Mikrokontroller lag.
-Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: [http://bergeruw.dyndns.org/~bergeruw/temp/ Das Klima bei Uwe].
+Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: [http://bergeruw.spdns.org/~bergeruw/temp/ Das Klima bei Uwe].
 Dieser Wiki-Artikel soll ein wenig von den Techniken berichten, die hinter diesem System stecken. Vielleicht kann der eine oder andere Interessierte ein paar Anregungen für eigene Experimente finden.

@@ Zeile 2: / Zeile 2: @@
 [[Category:Programmieren]]
 [[Category:Tcl/Tk]]
 =Was soll das hier?=

@@ Zeile 266: / Zeile 266: @@
 * eine Tabelle für den Luftdruck-Wert und dem dazugehörigen Temperaturwert
-Es werden jeweils die Messwerte ansich und der dazugehörige Timestamp abgelegt. Für jede Tabelle wurde ein Index auf dem Timestamp angelegt, um diverse Zugriffe zu beschleunigen.
+Es werden jeweils die Messwerte ansich und der dazugehörige Timestamp abgelegt. Für jede Tabelle wurde ein Index auf dem Timestamp angelegt, um diverse Lesezugriffe zu beschleunigen.
 ==Visualisierung==

@@ Zeile 167: / Zeile 167: @@
 * Datenübertragung erfolgt in 64-Bit-Blöcken
 * Stromversorgung der Slaves erfolgt parasitär über einen internen Speicherkondensator
-** bei inaktiver Kommunikation wird Kondensator aufgeladen
+** bei inaktiver Kommunikation wird der Kondensator aufgeladen
-** bei aktiver Kommunikation versorgt Kondensator IC mit Strom
+** bei aktiver Kommunikation versorgt der Kondensator den IC mit Strom
 ** reicht dies nicht → zusätzliche Stromversorgungsleitung möglich

@@ Zeile 145: / Zeile 145: @@
 Der Sensor ist "ab Werk" kalibriert. Die divesen Korrekturwerte zur Berechnung des realen Druckwertes sind im EEPROM des Schaltkreises abgelegt und können ebenfalls über den I²C-Bus ausgelesen werden. Weiterhin wird zur Berechnung des genauen Druckwertes die Umgebungstemperatur des Sensors benötigt. Glücklicherweise hat der Hersteller gleich einen Temperatursensor in den Schaltkreis integriert, dessen Messwert ebenfalls über den I²C-Bus ermittelbar ist. Das genaue Verfahren zur Berechnung des realen Druckwertes aus den diversen Parametern ist im [http://www.bosch-sensortec.com/content/language3/downloads/BST-BMP085-DS000-05.pdf Datenblatt] ausführlich beschrieben.
-Ein kleines Problemchen bei der Integration des Sensors in das Gesamtsystem gab es dann doch: die maximale Versorgungsspannung des Schlatkreises beträgt 3,6V. Mein I²C-Bus arbeitet aber mit 5V! Bei der Bestellung des Sensors habe ich diese Geschichte wohl "überlesen", sonst hätte ich gleich einen entsprechenden bidirektionalen Pegelwandler mitgeordert.... Aber man besitzt ja einen Lötkolben und kann sich solch ein Ding selbst bauen! Die Firma Philips beschreibt die Vorgehensweise dazu in einer [http://ics.nxp.com/support/documents/interface/pdf/an97055.pdf Application-Note]. In verschiedenen Quellen findet man, dass der FET-Transistor [http://www.datasheetcatalog.org/datasheet/diodes/ds30144.pdf BSS138] die idealsten Eigenschaften für diesen Einsatzzweck hat (man sollte sich nicht von der SMD-Bauform abschrecken lassen; mit einer vernünftigen Lötkolbenspitze, einer ruhigen Hand und einer Lupe ist das auch auf Lochraster machbar). Die 3,3V zur Spannungsversorgung des BMP085 werden mit einem Spannungsregler [http://www.datasheetcatalog.org/datasheet/nationalsemiconductor/DS009063.PDF LM317] aus den vorhanden 5V des I²C-Bus generiert.
+Ein kleines Problemchen bei der Integration des Sensors in das Gesamtsystem gab es dann doch: die maximale Versorgungsspannung des Schaltkreises beträgt 3,6V. Mein I²C-Bus arbeitet aber mit 5V! Bei der Bestellung des Sensors habe ich diese Geschichte wohl "überlesen", sonst hätte ich gleich einen entsprechenden bidirektionalen Pegelwandler mitgeordert.... Aber man besitzt ja einen Lötkolben und kann sich solch ein Ding selbst bauen! Die Firma Philips beschreibt die Vorgehensweise dazu in einer [http://ics.nxp.com/support/documents/interface/pdf/an97055.pdf Application-Note]. In verschiedenen Quellen findet man, dass der FET-Transistor [http://www.datasheetcatalog.org/datasheet/diodes/ds30144.pdf BSS138] die idealsten Eigenschaften für diesen Einsatzzweck hat (man sollte sich nicht von der SMD-Bauform abschrecken lassen; mit einer vernünftigen Lötkolbenspitze, einer ruhigen Hand und einer Lupe ist das auch auf Lochraster machbar). Die 3,3V zur Spannungsversorgung des BMP085 werden mit einem Spannungsregler [http://www.datasheetcatalog.org/datasheet/nationalsemiconductor/DS009063.PDF LM317] aus den vorhanden 5V des I²C-Bus generiert.
 Der mit dem Sensor gemessene Luftdruck ist der absolute Luftdruck. In den üblichen Wetterberichten ist, um eine Vergleichbarkeit zwischen den unterschiedlichen Standorten gewährleisten zu können, vom relativen Luftdruck die Rede, also der Luftdruck, der in Meereshöhe herrscht. D.h., dass man eine [http://de.wikipedia.org/wiki/Barometrische_H%C3%B6henformel#Reduktion_auf_Meeresh.C3.B6he Reduktion auf Meereshöhe] vornehmen muss. Für meine Belange reicht die Näherung, dass der [http://de.wikipedia.org/wiki/Luftdruck#Abnahme_mit_der_H.C3.B6he Luftdruck um 1hPa pro 8 Meter Höhenunterschied abnimmt]....

@@ Zeile 141: / Zeile 141: @@
 [[Bild:Bmp085.jpg|thumb|200px|Luftdrucksensor BMP085 an einem I²C-Level-Shifter]]
 [[Bild:I2c level shifter.jpg|thumb|200px|I²C-Level-Shifter (Rückseite)]]
-ZUr Bestimmung des Luftdruckes wird ein Sensor vom Typ [http://www.bosch-sensortec.com/content/language3/downloads/BST-BMP085-DS000-05.pdf BMP085]  der Firma Bosch verwendet. Dieser Sensor verfügt über ein I²C-Interface und kann Druckwerte zwischen 300 und 1100hPa ermitteln.
+Zur Bestimmung des Luftdruckes wird ein Sensor vom Typ [http://www.bosch-sensortec.com/content/language3/downloads/BST-BMP085-DS000-05.pdf BMP085]  der Firma Bosch verwendet. Dieser Sensor verfügt über ein I²C-Interface und kann Druckwerte zwischen 300 und 1100hPa ermitteln.
 Der Sensor ist "ab Werk" kalibriert. Die divesen Korrekturwerte zur Berechnung des realen Druckwertes sind im EEPROM des Schaltkreises abgelegt und können ebenfalls über den I²C-Bus ausgelesen werden. Weiterhin wird zur Berechnung des genauen Druckwertes die Umgebungstemperatur des Sensors benötigt. Glücklicherweise hat der Hersteller gleich einen Temperatursensor in den Schaltkreis integriert, dessen Messwert ebenfalls über den I²C-Bus ermittelbar ist. Das genaue Verfahren zur Berechnung des realen Druckwertes aus den diversen Parametern ist im [http://www.bosch-sensortec.com/content/language3/downloads/BST-BMP085-DS000-05.pdf Datenblatt] ausführlich beschrieben.