Wetterdaten mit Linux aufzeichnen und verarbeiten

Aus BraLUG-Wiki

Wechseln zu: Navigation, Suche


...der Artikel befindet sich noch im Aufbau!


Inhaltsverzeichnis

Was soll das hier?

Angefangen hat die Geschichte eigentlich nur mit ein paar Experimenten mit Temperatursensoren an diversen Mikrocontroller-Boards (z.B. BLIT2008-Board mit 1-Wire und BLIT2008-Board-Thermo). Irgendwann kam der Wunsch auf, diese Temperaturmessdaten dauerhaft mitzuschreiben, zu archivieren (z.B. auf einer, an einem Mikrocontroller angeschlossenen SD-Karte) und die Verläufe in geeigneter Form anzuzeigen. Die Ergebnisse waren aber nicht allzu befriedigend, was an den beschränkten Ressourcen und Möglichkeiten der eingesetzten Mikrokontroller lag.

Also begann ich sukzessive die Temperaturmessungen mit einem "richtigen" Linux-Rechner aufzubauen. Nachdem dies gelungen war, reifte der Wunsch nochmehr Daten zu erfassen und zu visualisieren. Es kam also schrittweise die Aufzeichnung der Helligkeit, der Luftfeuchtigkeit und des Luftdrucks hinzu. Der derzeitige Stand ist auf einer kleinen Webseite einsehbar: Das Klima bei Uwe.

Dieser Wiki-Artikel soll ein wenig von den Techniken berichten, die hinter diesem System stecken. Vielleicht kann der eine oder andere Interessierte ein paar Anregungen für eigene Experimente finden.

Einige der technischen Grundlagen habe ich bereits in einem Vortrag "Busverkehr unter Linux" zusammengefasst, welchen ich 2012 auf dem Chemnitzer Linuxtag und der FrOSCon präsentiert habe.

Viel Spaß!

Hardware

Überblick

Rechner-Hardware

NAS-System "Dockstar" von Seagate

Da das System ständig laufen muss, um die Messdaten lückenlos aufnehmen zu können, wurde eine Rechnerhardware gesucht, deren Stromaufnahme sich im tolerierbaren Rahmen bewegt. Als ich mit den Experimenten anfing, beschäftigeten sich gerade ein paar Leute damit, das NAS-System "Dockstar" von Seagate von der Hersteller-Firmware zu befreien, was meinen Wunschvorstelleungen sehr entgegen kam.

Diese NAS-Einheit verfügt über einen Ethernetanschluß, drei USB-Ports, einen weiteren USB-Anschluß für eine externe USB-Festplatte sowie über eine Status-LED. Die Original-Firmware ist bereits ein Linux, welches aber relativ restriktiv beim ersten Verbinden mit dem Internet mit Seagate kommuniziert und dann nicht mehr ohne weiteres austauschbar ist. Intern werkelt ein ARM-Prozessor, es sind 128MB RAM und 256MB FLASH-Speicher vorhanden. Ich habe dem System eine passende externe USB-Festplatte (320GB) von Seagate spendiert.

Im Internet kursieren diverse Beschreibungen über die interne Hardware und das Aufspielen eigener Firmware. Z.B.:

Neben dem eigentliche Basis-Betriebssystem wurden für die Wetterdatenaufzeichnung noch diverse Softwarepakete installiert, u.a.:

  • TCL-Interpreter (diverse Scripte zur Steuerung)
  • SQLite (als Datenbank)
  • gnuplot (zur Generierung von Diagrammen)
  • screen und screenie (zum Verwalten diverser Terminal-Sessions)
  • ein WEB-Server (zur Auslieferung von HTML-Seiten)

Neben dem Aufzeichnen der Wetterdaten verwende ich das NAS auch noch als zweites Backup-System in meinem Heimnetz (einfaches rsync von diversen Verzeichnisse meines Servers).

I2C-Bus

Allgemeines

i2c-tiny-usb-Adapter

Ein Teil der eingesetzten Sensoren sind für den I²C-Bus der Firma Philips ausgelegt. Folgende Merkmale kennzeichnen ein solchen Bus:

  • ursprünglich für die interne Datenübertragung zwischen Gerätebaugruppen konzipiert
  • I2C (Inter Intergrated Circuit); TWI (Two-Wire-Interface); „Zweidraht-Bus“:
    • eine Datenleitung (SDA)
    • eine Taktleitung (SCL)
    • eine Masse- und eine Stromversorgungsleitung
  • serieller, synchroner und bidirektionaler Datenbus
  • Halbduplex-Betrieb
  • Multimaster möglich
  • Slaveadressen 7 Bit lang und vom Hersteller festgelegt

Um I²C-Slaves (in unserem Fall die Sensoren) an einem Linx-PC anschließen und abfragen zu können, benötigt man einen I²C-Master. Das hier beschriebene System verwendet einen i2c-tiny-usb-Adapter von Till Harbaum, für den es das Kernel-Modul i2c-tiny-usb gibt. Auf der Wiki-Seite BLIT2008-Board mit i2c-tiny-usb-Firmware sind ein paar detailiertere Grundlagen und Experimente mit diesem Adapter zu finden.


Hier ein paar I²C-relevante Ausgaben auf meinem Zielsystem:

> dmesg
...
[20905241.303601] usb 1-1.2: new low speed USB device using orion-ehci and address 89
[20905241.419330] usb 1-1.2: New USB device found, idVendor=0403, idProduct=c631
[20905241.426528] usb 1-1.2: New USB device strings: Mfr=1, Product=2, SerialNumber=0
[20905241.434174] usb 1-1.2: Product: i2c-tiny-usb
[20905241.438726] usb 1-1.2: Manufacturer: Till Harbaum
[20905241.446154] usb 1-1.2: configuration #1 chosen from 1 choice
[20905241.452875] i2c-tiny-usb 1-1.2:1.0: version 1.05 found at bus 001 address 089
[20905241.461475] i2c i2c-0: connected i2c-tiny-usb device
...

> lsmod
Module                  Size  Used by
...
i2c_tiny_usb            2589  0 
...

> i2cdetect -l
i2c-0	i2c       	i2c-tiny-usb at bus 001 device 089	I2C adapter


> i2cdetect -y 0
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00:          -- -- -- -- -- -- -- -- -- -- -- -- -- 
10: -- -- 12 13 -- -- -- -- -- -- -- -- -- -- -- -- 
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
40: -- -- -- -- -- -- -- -- -- 49 -- -- -- -- -- -- 
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
70: -- -- -- -- -- -- -- 77 

In der letzte Ausgabe des i2cdetect-Kommandos werden 4 I²C-Slaves aufgelistet:

  • Adresse 0x12 und 0x13: zwei selbstgebaute I²C-ADC-Module
  • Adresse 0x49: Temperatursensor LM75
  • Adresse 0x77: Luftdrucksensor BMP085

Diese Slaves werden in der Folge kurz beschrieben.

Temperatur mit einem LM75

Temperatursensor LM75

Eigentlich werden derzeit die Innen- und Außentemperaturen mit zwei 1-wire-Sensoren (siehe weiter unten) erfasst. Allerdings benötigt man zur Berechnung der korrekten Luftfeuchtigkeit mit einem HIH-4030 die unmittelbare Umgebungstemperatur dieses Sensors. Aus diesem Grund habe ich in der Nähe des Luftfeuchtigkeitssensors ein Temperatursensor vom Typ LM75 angeordnet. Dessen Messwert wird gleichzeitig mit Abfrage der Luftfeuchtigkeit ermittelt und in der entsprechenden Datenbanktabelle abgelegt.

Glücklicherweise hatte ich noch ein paar LM75-Module zum BLIT2008-Board herum zuliegen. Auf ersterer Wiki-Seite findet man auch die Beschaltung und das Datenblatt des verwendeten Temperatursensor-Moduls.

Helligkeit mit Fotowiderstand und Solarzelle

Fotowiderstand und Solarzelle an einem I²C-ADC

Irgendwann stellt man sich die Frage, welchen Einfluss die Helligkeit (bzw. Sonneneinstrahlung) auf Temperaturen, Luftfeuchtigkeit und Luftdruck hat. Um dies herauszufinden und entsprechend zu visualisieren, mussten entsprechende Sensoren her. Eine kurze Recherche ergab, dass es dafür sogar diverse spezielle Licht-Sensoren gibt, aber für meine Experimente reicht es aus zu wissen, ob es Tag oder Nacht und ob es bewölkt oder nicht bewölkt ist. Ein Fotowiderstand und/oder eine Solarzelle (z.B. aus einer dieser Gartenleuchten) würden dazu brauchbare Werte ermitteln....

Problem ist dabei, dass die entsprechenden Messwerte in analoger Form (hier eine Spannung) vorliegen. Es wird also ein Analog-Digital-Wandler benötigt, der im Idealfall an einen der vorhandenen Busse angeschlossen werden kann. In Sachen I²C-Bus hatte ich vor einiger Zeit ein entsprechendes ADC-Modul gebaut. Es verfügt über zwei Analog-Eingänge, also Fotowiderstand und Solarzelle können gleichzeitig angeschlossen und via I²C-Bus abgefragt werden. Der Fotowiderstand wurde über einen entsprechend dimensionierten einfachen Spannungsteiler angeschlossen. Die verwendete Solarzelle brachte die erforderliche Spannung ohne irgendwelche Zusatzbeschaltung.

realtive Luftfeuchtigkeit mit einem HIH-4030

Feuchtigkeitssensor HIH-4030 an einem I²C-ADC

Luftdruck mit einem BMP085

Luftdrucksensor BMP085 an einem I²C-Level-Shifter I²C-Level-Shifter (Rückseite)

1-wire-Bus

Allgemeines

DS9490R-Adapter

Als Temperatursensoren kommen Schaltkreise mit einer 1-wire-Schnittstelle zum Einsatz. Deshalb sollten wir uns etwas mit dem Bus der Firma Maxim beschäftigen. Folgende Merkmale kennzeichnen einen 1-wire-Bus:

  • 1-Wire-, One-Wire-, Eindraht-Bus:
    • eine Datenleitung
    • zusätzlich eine Masseleitung
    • optional eine Stromversorgungsleitung
  • serieller, asynchroner und bidirektionaler Datenbus
  • Halbduplex-Betrieb
  • Singlemaster
  • eineindeutige Slaveadressen (64Bit; davon 8Bit Checksumme)
  • Datenübertragung erfolgt in 64-Bit-Blöcken
  • Stromversorgung der Slaves erfolgt parasitär über einen internen Speicherkondensator
    • bei inaktiver Kommunikation wird Kondensator aufgeladen
    • bei aktiver Kommunikation versorgt Kondensator IC mit Strom
    • reicht dies nicht → zusätzliche Stromversorgungsleitung möglich

Zum Anschluss von 1-wire-Slaves benötigt man einen 1-wire-Bus-Master. Im hier beschriebenen System habe ich einen handelsüblichen USB-Dongle vom Typ DS9490R verwendet, welcher durch das Kernel-Modul ds2490 verwaltet wird.

Darauf aufbauend verwende ich owfs (1-wire Filesystem) zum Auslesen der 1-wire-Slaves. Mit owfs ist es u.a. möglich alle "Register" sämtlicher im 1-wire-Bus befindlichen Slaves als Verzeichnis-Baum ins Filesystem zu mounten. Zum Auslesen oder Beschreiben der Register reichen dann ganz normale Lese- oder Schreib-Kommandos (z.B. cat, echo). Die genauen Einzelheiten kann man der ausführlichen Dokumentation zu owfs entnehmen.

Hier ein paar 1-wire-relevante Ausgaben des Zielsystems:

> dmesg
...
[11855239.635745] usb 1-1.4: new full speed USB device using orion-ehci and address 79
[11855239.846726] usb 1-1.4: New USB device found, idVendor=04fa, idProduct=2490
[11855239.853895] usb 1-1.4: New USB device strings: Mfr=0, Product=0, SerialNumber=0
[11855239.863705] usb 1-1.4: configuration #1 chosen from 1 choice
[11855241.413969] w1_master_driver w1 bus master: Family 10 for 10.000801b55f40.b9 is not registered.
[11855242.965969] w1_master_driver w1 bus master: Family 10 for 10.000801b56e7d.57 is not registered.
[11855244.517965] w1_master_driver w1 bus master: Family 81 for 81.0000002e831d.5b is not registered.
...

> lsmod
Module                  Size  Used by
...
ds2490                  6430  0
...

> /opt/owfs/bin/owfs -u -m /home/bergeruw/mnt/ow -s 3000

> mount
...
OWFS on /home/bergeruw/mnt/ow type fuse.OWFS (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000)
...

> ls -al /home/bergeruw/mnt/ow
total 4
drwxr-xr-x 1 root     root        8 Apr  1  2012 .
drwxr-xr-x 4 bergeruw bergeruw 4096 Jul 28  2011 ..
drwxrwxrwx 1 root     root        8 Nov 29 10:10 10.405FB5010800
drwxrwxrwx 1 root     root        8 Nov 29 10:10 10.7D6EB5010800
drwxrwxrwx 1 root     root        8 Nov 29 10:10 81.1D832E000000
drwxr-xr-x 1 root     root        8 Apr  1  2012 alarm
drwxr-xr-x 1 root     root        8 Apr  1  2012 bus.0
drwxr-xr-x 1 root     root        8 Apr  1  2012 bus.1
drwxr-xr-x 1 root     root        8 Apr  1  2012 settings
drwxrwxrwx 1 root     root        8 Nov 29 10:10 simultaneous
drwxr-xr-x 1 root     root        8 Apr  1  2012 statistics
drwxr-xr-x 1 root     root       30 Apr  1  2012 structure
drwxr-xr-x 1 root     root        8 Apr  1  2012 system
drwxr-xr-x 1 root     root        8 Apr  1  2012 uncached

Temperatur mit einem DS1820

Zum Ermitteln der Innen- und Außentemperatur werden zwei 1-wire-Temperatursensoren vom Typ DS18S20 verwendet. Beide Schaltkreise sind mit parasitärer Stromversorgung an den 1-wire-Bus angeschlossen, so dass nur zwei Bus-Leitungen notwendig sind. Besonders vorteilhaft ist, dass die Temperatursensoren bereits "ab Werk" kalibriert sind. Die angegebene Genauigkeit von ±0,5°C reicht für den vorgesehenen Einsatzzweck vollkommen aus.

Software

Scripte

Zum Auslesen der Sensoren am 1-wire- und I²C-Bus, zum Generieren der Diagramme für die kleine Webseite und der Ansteuerung des angeschlossenen LC-Displays werden eine Reihe von TCL-Scripte verwendet. Jedes dieser Scripte läuft in einer eigenen Screen-Session, da jeweils ein paar Kontrollausgaben zu den gerade ablaufenden Aktionen getätigt werden.

Folgende Tcl-Scripte laufen derzeit im System:

  • i2c_adc_db_neu.tcl → Zyklisches Auslesen der Sensoren am I²C-Bus (jede Minute), Abspeichern der Werte in eine Datenbanktabelle und Generierung des entsprechenden Diagramms für die Webseite (jede zwei Minuten)
  • owfs2sqlite.tcl → Auslesen der Sensoren am 1-wire-Bus (jede Minute), Abspeichern der Werte in Datenbanktabellen und Generierung der entsprechenden Diagramme für die Webseite (jede zwei Minuten)
  • heatmap_generator.tcl → Generierung der Heatmap-Diagramme für die Webseite (jede zwei Stunden); die Werte werden dazu aus den entsprechenden Datenbanktabellen gelesen
  • display_weather.tcl → Auslesen der aktuellen Werte aus den entsprechenden Datenbanktabellen und deren Anzeige auf dem LC-Display (Uhrzeit jede Sekunde; alle anderen Werte jede Minute)

Die Scripte sind hier zu finden. Diverse Parameter innerhalb der Scripte sind seinen eigenen Gegebenheiten anzupassen....

An der Anzahl und Struktur der Scripte merkt man, dass das System "historisch" gewchsen ist. Mit Sicherheit lässt sich einiges zusammenfassen und verbessern....


Datenbank

Zur Aufzeichnung/Archivierung der Messdaten bietet es sich an, eine Datenbank zu verwenden. Da eine serverbasierte Datenbank (wie z.B. MySQL) etwas überdimensioniert ist, habe ich mich für SQLite entschieden, zumal dafür auch ein sehr komfortables TCL-Interface existiert.

Es wurden mehrere Tabellen angelegt:

  • eine Tabelle für die 1-wire-Temperatursensoren
  • eine Tabelle für die ADC-Werte (Fotowiderstand, Solarzelle) aus der Helligkeitsmessung
  • eine Tabelle für den ADC-Wert des Feuchtigkeitssensors und dem Messwert des daneben plazierten Temperatursensor (LM75)
  • eine Tabelle für den Luftdruck-Wert und dem dazugehörigen Temperaturwert

Es werden jeweils die Messwerte ansich und der dazugehörige Timestamp abgelegt. Für jede Tabelle wurde ein Index auf dem Timestamp angelegt, um diverse Zugriffe zu beschleunigen.

Visualisierung

Temperaturverlauf über 48h
Temperaturverlauf über 360 Tage als Heatmap
aktuelle Wetterdaten auf einem LC-Display

Diagramme mit gnuplot

Ansteuerung eines LC-Display

Diagramme über die Messwertverläufe auf einer Webseite sind ja sinnvoll und schick, aber was, wenn man gerade keinen Rechner mit einem Browser an hat? Irgendwann erinnerte ich mich an meine Experimente mit einem LC-Display als Statusanzeige unter Linux. Ein USB-Anschluß war am Dockstar noch frei... Nach einigem Suchen, fand ich dann auch dieses Teil, modifizierte/erweiterte die damals geschrieben TCL-Scripte etwas und habe jetzt eine Anzeige, welche die aktuellen Werte von:

  • Datum/Uhrzeit
  • Innen- und Außentemperatur
  • Luftfeuchtigkeit
  • Luftdruck

ständig anzeigt. Die Daten werden nicht direkt von den Sensoren ermittelt, sondern aus der SQLite-Datenbank gelesen.

Theoretisch könnte man an das Anzeige-Modul noch 6 Tasten anschließen, aber vorerst besteht keine Notwendigkeit dazu.

Die Verwendung jeder anderen geeigneten Lösung einer Anzeige an einem USB-Port ist ebenfalls denkbar (z.B. LCD4Linux oder LCDproc).

ToDo

  • ...diese Wiki-Seite :-)
  • ein außentaugliches Gehäuse für den Außentemperatur-, Feuchtigkeitssensor, Fotowiderstand und die Solarzelle; vor allem muss für den Feuchtigkeitssensor eine Lösung gefunden werden, die gewährleistet, dass sich kein Tauwasser auf dem Sensor absetzt (wie machen es die "richtigen" Wetterstationen?)
  • eigentlich fehlt jetzt noch die Messung der Windstärke und -richtung; am liebsten wäre mir eine nicht-mechanische Lösung
  • naja, die Regenmenge fehlt dann auch noch...

Kontakt

Uwe

'Persönliche Werkzeuge