Wetterdaten mit Linux aufzeichnen und verarbeiten
Aus BraLUG-Wiki
...der Artikel befindet sich noch im Aufbau!
Inhaltsverzeichnis |
Was soll das hier?
Angefangen hat die Geschichte eigentlich nur mit ein paar Experimenten mit Temperatursensoren an diversen Mikrocontroller-Boards (z.B. BLIT2008-Board mit 1-Wire und BLIT2008-Board-Thermo). Irgendwann kam der Wunsch auf, diese Temperaturmessdaten dauerhaft mitzuschreiben, zu archivieren (z.B. auf einer, an einem Mikrocontroller angeschlossenen SD-Karte) und die Verläufe in geeigneter Form anzuzeigen. Die Ergebnisse waren aber nicht allzu befriedigend, was an den beschränkten Ressourcen und Möglichkeiten der eingesetzten Mikrokontroller lag.
Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: Das Klima bei Uwe.
Dieser Wiki-Artikel soll ein wenig von den Techniken berichten, die hinter diesem System stecken. Vielleicht kann der eine oder andere Interessierte ein paar Anregungen für eigene Experimente finden.
Einige der technischen Grundlagen habe ich bereits in einem Vortrag "Busverkehr unter Linux" zusammengefasst, welchen ich 2012 auf dem Chemnitzer Linuxtag und der FrOSCon präsentiert habe.
Viel Spaß!
Hardware
Überblick
Rechner-Hardware
Da das System ständig laufen muss, um die Messdaten lückenlos aufnehmen zu können, wurde eine Rechnerhardware gesucht, deren Stromaufnahme sich im tolerierbaren Rahmen bewegt. Als ich mit den Experimenten anfing, beschäftigeten sich gerade ein paar Leute damit, das NAS-System "Dockstar" von Seagate von der Hersteller-Firmware zu befreien, was meinen Wunschvorstelleungen sehr entgegen kam.
Diese NAS-Einheit verfügt über einen Ethernetanschluß, drei USB-Ports, einen weiteren USB-Anschluß für eine externe USB-Festplatte sowie über eine Status-LED. Die Original-Firmware ist bereits ein Linux, welches aber relativ restriktiv beim ersten Verbinden mit dem Internet mit Seagate kommuniziert und dann nicht mehr ohne weiteres austauschbar ist. Intern werkelt ein ARM-Prozessor, es sind 128MB RAM und 256MB FLASH-Speicher vorhanden. Ich habe dem System eine passende externe USB-Festplatte (320GB) von Seagate spendiert.
Im Internet kursieren diverse Beschreibungen über die interne Hardware und das Aufspielen eigener Firmware. Z.B.:
Neben dem eigentliche Basis-Betriebssystem wurden für die Wetterdatenaufzeichnung noch diverse Softwarepakete installiert, u.a.:
- TCL-Interpreter (diverse Scripte zur Steuerung)
- SQLite (als Datenbank)
- gnuplot (zur Generierung von Diagrammen)
- screen und screenie (zum Verwalten diverser Terminal-Sessions)
- ein WEB-Server (zur Auslieferung von HTML-Seiten)
Neben dem Aufzeichnen der Wetterdaten verwende ich das NAS auch noch als zweites Backup-System in meinem Heimnetz (einfaches rsync von diversen Verzeichnisse meines Servers).
I2C-Bus
Allgemeines
Ein Teil der eingesetzten Sensoren sind für den I²C-Bus der Firma Philips ausgelegt. Folgende Merkmale kennzeichnen ein solchen Bus:
- ursprünglich für die interne Datenübertragung zwischen Gerätebaugruppen konzipiert
- I2C (Inter Intergrated Circuit); TWI (Two-Wire-Interface); „Zweidraht-Bus“:
- eine Datenleitung (SDA)
- eine Taktleitung (SCL)
- eine Masse- und eine Stromversorgungsleitung
- serieller, synchroner und bidirektionaler Datenbus
- Halbduplex-Betrieb
- Multimaster möglich
- Slaveadressen 7 Bit lang und vom Hersteller festgelegt
Um I²C-Slaves (in unserem Fall die Sensoren) an einem Linx-PC anschließen und abfragen zu können, benötigt man einen I²C-Master. Das hier beschriebene System verwendet einen i2c-tiny-usb-Adapter von Till Harbaum, für den es das Kernel-Modul i2c-tiny-usb gibt. Auf der Wiki-Seite BLIT2008-Board mit i2c-tiny-usb-Firmware sind ein paar detailiertere Grundlagen und Experimente mit diesem Adapter zu finden.
Hier ein paar I²C-relevante Ausgaben auf meinem Zielsystem:
> dmesg
...
[20905241.303601] usb 1-1.2: new low speed USB device using orion-ehci and address 89
[20905241.419330] usb 1-1.2: New USB device found, idVendor=0403, idProduct=c631
[20905241.426528] usb 1-1.2: New USB device strings: Mfr=1, Product=2, SerialNumber=0
[20905241.434174] usb 1-1.2: Product: i2c-tiny-usb
[20905241.438726] usb 1-1.2: Manufacturer: Till Harbaum
[20905241.446154] usb 1-1.2: configuration #1 chosen from 1 choice
[20905241.452875] i2c-tiny-usb 1-1.2:1.0: version 1.05 found at bus 001 address 089
[20905241.461475] i2c i2c-0: connected i2c-tiny-usb device
...
> lsmod
Module Size Used by
...
i2c_tiny_usb 2589 0
...
> i2cdetect -l
i2c-0 i2c i2c-tiny-usb at bus 001 device 089 I2C adapter
> i2cdetect -y 0
0 1 2 3 4 5 6 7 8 9 a b c d e f
00: -- -- -- -- -- -- -- -- -- -- -- -- --
10: -- -- 12 13 -- -- -- -- -- -- -- -- -- -- -- --
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
40: -- -- -- -- -- -- -- -- -- 49 -- -- -- -- -- --
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
70: -- -- -- -- -- -- -- 77
In der letzte Ausgabe des i2cdetect-Kommandos werden 4 I²C-Slaves aufgelistet:
- Adresse 0x12 und 0x13: zwei selbstgebaute I²C-ADC-Module
- Adresse 0x49: Temperatursensor LM75
- Adresse 0x77: Luftdrucksensor BMP085
Diese Slaves werden in der Folge kurz beschrieben.
Temperatur mit einem LM75
Eigentlich werden derzeit die Innen- und Außentemperaturen mit zwei 1-wire-Sensoren (siehe weiter unten) erfasst. Allerdings benötigt man zur Berechnung der korrekten Luftfeuchtigkeit mit einem HIH-4030 die unmittelbare Umgebungstemperatur dieses Sensors. Aus diesem Grund habe ich in der Nähe des Luftfeuchtigkeitssensors ein Temperatursensor vom Typ LM75 angeordnet. Dessen Messwert wird gleichzeitig mit Abfrage der Luftfeuchtigkeit ermittelt und in der entsprechenden Datenbanktabelle abgelegt.
Glücklicherweise hatte ich noch ein paar LM75-Module zum BLIT2008-Board herum zuliegen. Auf ersterer Wiki-Seite findet man auch die Beschaltung und das Datenblatt des verwendeten Temperatursensor-Moduls.
Helligkeit mit Fotowiderstand und Solarzelle
Irgendwann stellt man sich die Frage, welchen Einfluss die Helligkeit (bzw. Sonneneinstrahlung) auf Temperaturen, Luftfeuchtigkeit und Luftdruck hat. Um dies herauszufinden und entsprechend zu visualisieren, mussten entsprechende Sensoren her. Eine kurze Recherche ergab, dass es dafür sogar diverse spezielle Licht-Sensoren gibt, aber für meine Experimente reicht es aus zu wissen, ob es Tag oder Nacht und ob es bewölkt oder nicht bewölkt ist. Ein Fotowiderstand und/oder eine Solarzelle (z.B. aus einer dieser Gartenleuchten) würden dazu brauchbare Werte ermitteln....
Problem ist dabei, dass die entsprechenden Messwerte in analoger Form (hier eine Spannung) vorliegen. Es wird also ein Analog-Digital-Wandler benötigt, der im Idealfall an einen der vorhandenen Busse angeschlossen werden kann. In Sachen I²C-Bus hatte ich vor einiger Zeit ein entsprechendes ADC-Modul gebaut. Es verfügt über zwei Analog-Eingänge, also Fotowiderstand und Solarzelle können gleichzeitig angeschlossen und via I²C-Bus abgefragt werden. Der Fotowiderstand wurde über einen entsprechend dimensionierten einfachen Spannungsteiler angeschlossen. Die verwendete Solarzelle brachte die erforderliche Spannung ohne irgendwelche Zusatzbeschaltung.
realtive Luftfeuchtigkeit mit einem HIH-4030
Luftdruck mit einem BMP085
1-wire-Bus
Allgemeines
Als Temperatursensoren kommen Schaltkreise mit einer 1-wire-Schnittstelle zum Einsatz. Deshalb sollten wir uns etwas mit dem Bus der Firma Maxim beschäftigen. Folgende Merkmale kennzeichnen einen 1-wire-Bus:
- 1-Wire-, One-Wire-, Eindraht-Bus:
- eine Datenleitung
- zusätzlich eine Masseleitung
- optional eine Stromversorgungsleitung
- serieller, asynchroner und bidirektionaler Datenbus
- Halbduplex-Betrieb
- Singlemaster
- eineindeutige Slaveadressen (64Bit; davon 8Bit Checksumme)
- Datenübertragung erfolgt in 64-Bit-Blöcken
- Stromversorgung der Slaves erfolgt parasitär über einen internen Speicherkondensator
- bei inaktiver Kommunikation wird Kondensator aufgeladen
- bei aktiver Kommunikation versorgt Kondensator IC mit Strom
- reicht dies nicht → zusätzliche Stromversorgungsleitung möglich
Zum Anschluss von 1-wire-Slaves benötigt man einen 1-wire-Bus-Master. Im hier beschriebenen System habe ich einen handelsüblichen USB-Dongle vom Typ DS9490R verwendet, welcher durch das Kernel-Modul ds2490 verwaltet wird.
Darauf aufbauend verwende ich owfs (1-wire Filesystem) zum Auslesen der 1-wire-Slaves. Mit owfs ist es u.a. möglich alle "Register" sämtlicher im 1-wire-Bus befindlichen Slaves als Verzeichnis-Baum ins Filesystem zu mounten. Zum Auslesen oder Beschreiben der Register reichen dann ganz normale Lese- oder Schreib-Kommandos (z.B. cat, echo). Die genauen Einzelheiten kann man der ausführlichen Dokumentation zu owfs entnehmen.
Hier ein paar 1-wire-relevante Ausgaben des Zielsystems:
> dmesg ... [11855239.635745] usb 1-1.4: new full speed USB device using orion-ehci and address 79 [11855239.846726] usb 1-1.4: New USB device found, idVendor=04fa, idProduct=2490 [11855239.853895] usb 1-1.4: New USB device strings: Mfr=0, Product=0, SerialNumber=0 [11855239.863705] usb 1-1.4: configuration #1 chosen from 1 choice [11855241.413969] w1_master_driver w1 bus master: Family 10 for 10.000801b55f40.b9 is not registered. [11855242.965969] w1_master_driver w1 bus master: Family 10 for 10.000801b56e7d.57 is not registered. [11855244.517965] w1_master_driver w1 bus master: Family 81 for 81.0000002e831d.5b is not registered. ... > lsmod Module Size Used by ... ds2490 6430 0 ... > /opt/owfs/bin/owfs -u -m /home/bergeruw/mnt/ow -s 3000 > mount ... OWFS on /home/bergeruw/mnt/ow type fuse.OWFS (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000) ... > ls -al /home/bergeruw/mnt/ow total 4 drwxr-xr-x 1 root root 8 Apr 1 2012 . drwxr-xr-x 4 bergeruw bergeruw 4096 Jul 28 2011 .. drwxrwxrwx 1 root root 8 Nov 29 10:10 10.405FB5010800 drwxrwxrwx 1 root root 8 Nov 29 10:10 10.7D6EB5010800 drwxrwxrwx 1 root root 8 Nov 29 10:10 81.1D832E000000 drwxr-xr-x 1 root root 8 Apr 1 2012 alarm drwxr-xr-x 1 root root 8 Apr 1 2012 bus.0 drwxr-xr-x 1 root root 8 Apr 1 2012 bus.1 drwxr-xr-x 1 root root 8 Apr 1 2012 settings drwxrwxrwx 1 root root 8 Nov 29 10:10 simultaneous drwxr-xr-x 1 root root 8 Apr 1 2012 statistics drwxr-xr-x 1 root root 30 Apr 1 2012 structure drwxr-xr-x 1 root root 8 Apr 1 2012 system drwxr-xr-x 1 root root 8 Apr 1 2012 uncached
Temperatur mit einem DS1820
Zum Ermitteln der Innen- und Außentemperatur werden zwei 1-wire-Temperatursensoren vom Typ DS18S20 verwendet. Beide Schaltkreise sind mit parasitärer Stromversorgung an den 1-wire-Bus angeschlossen, so dass nur zwei Bus-Leitungen notwendig sind. Besonders vorteilhaft ist, dass die Temperatursensoren bereits "ab Werk" kalibriert sind. Die angegebene Genauigkeit von ±0,5°C reicht für den vorgesehenen Einsatzzweck vollkommen aus.
Software
Scripte
Zum Auslesen der Sensoren am 1-wire- und I²C-Bus, zum Generieren der Diagramme für die kleine Webseite und der Ansteuerung des angeschlossenen LC-Displays werden eine Reihe von TCL-Scripte verwendet. Jedes dieser Scripte läuft in einer eigenen Screen-Session, da jeweils ein paar Kontrollausgaben zu den gerade ablaufenden Aktionen getätigt werden.
Folgende Tcl-Scripte laufen derzeit im System:
- i2c_adc_db_neu.tcl → Zyklisches Auslesen der Sensoren am I²C-Bus (jede Minute), Abspeichern der Werte in eine Datenbanktabelle und Generierung des entsprechenden Diagramms für die Webseite (jede zwei Minuten)
- owfs2sqlite.tcl → Auslesen der Sensoren am 1-wire-Bus (jede Minute), Abspeichern der Werte in Datenbanktabellen und Generierung der entsprechenden Diagramme für die Webseite (jede zwei Minuten)
- heatmap_generator.tcl → Generierung der Heatmap-Diagramme für die Webseite (jede zwei Stunden); die Werte werden dazu aus den entsprechenden Datenbanktabellen gelesen
- display_weather.tcl → Auslesen der aktuellen Werte aus den entsprechenden Datenbanktabellen und deren Anzeige auf dem LC-Display (Uhrzeit jede Sekunde; alle anderen Werte jede Minute)
Die Scripte sind hier zu finden. Diverse Parameter innerhalb der Scripte sind seinen eigenen Gegebenheiten anzupassen....
An der Anzahl und Struktur der Scripte merkt man, dass das System "historisch" gewchsen ist. Mit Sicherheit lässt sich einiges zusammenfassen und verbessern....
Datenbank
Zur Aufzeichnung/Archivierung der Messdaten bietet es sich an, eine Datenbank zu verwenden. Da eine serverbasierte Datenbank (wie z.B. MySQL) etwas überdimensioniert ist, habe ich mich für SQLite entschieden, zumal dafür auch ein sehr komfortables TCL-Interface existiert.
Es wurden mehrere Tabellen angelegt:
- eine Tabelle für die 1-wire-Temperatursensoren
- eine Tabelle für die ADC-Werte (Fotowiderstand, Solarzelle) aus der Helligkeitsmessung
- eine Tabelle für den ADC-Wert des Feuchtigkeitssensors und dem Messwert des daneben plazierten Temperatursensor (LM75)
- eine Tabelle für den Luftdruck-Wert und dem dazugehörigen Temperaturwert
Es werden jeweils die Messwerte ansich und der dazugehörige Timestamp abgelegt. Für jede Tabelle wurde ein Index auf dem Timestamp angelegt, um diverse Zugriffe zu beschleunigen.
Visualisierung
Diagramme mit gnuplot
Ansteuerung eines LC-Display
Diagramme über die Messwertverläufe auf einer Webseite sind ja sinnvoll und schick, aber was, wenn man gerade keinen Rechner mit einem Browser an hat? Irgendwann erinnerte ich mich an meine Experimente mit einem LC-Display als Statusanzeige unter Linux. Ein USB-Anschluß war am Dockstar noch frei... Nach einigem Suchen, fand ich dann auch dieses Teil, modifizierte/erweiterte die damals geschrieben TCL-Scripte etwas und habe jetzt eine Anzeige, welche die aktuellen Werte von:
- Datum/Uhrzeit
- Innen- und Außentemperatur
- Luftfeuchtigkeit
- Luftdruck
ständig anzeigt. Die Daten werden nicht direkt von den Sensoren ermittelt, sondern aus der SQLite-Datenbank gelesen.
Theoretisch könnte man an das Anzeige-Modul noch 6 Tasten anschließen, aber vorerst besteht keine Notwendigkeit dazu.
Die Verwendung jeder anderen geeigneten Lösung einer Anzeige an einem USB-Port ist ebenfalls denkbar (z.B. LCD4Linux oder LCDproc).
ToDo
- ...diese Wiki-Seite :-)
- ein außentaugliches Gehäuse für den Außentemperatur-, Feuchtigkeitssensor, Fotowiderstand und die Solarzelle; vor allem muss für den Feuchtigkeitssensor eine Lösung gefunden werden, die gewährleistet, dass sich kein Tauwasser auf dem Sensor absetzt (wie machen es die "richtigen" Wetterstationen?)
- eigentlich fehlt jetzt noch die Messung der Windstärke und -richtung; am liebsten wäre mir eine nicht-mechanische Lösung
- naja, die Regenmenge fehlt dann auch noch...
