+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenerfassung (DAQ) (/Forum-Datenerfassung-DAQ)
+---- Thema: Messdaten - Datenmenge - Strategie?! (/Thread-Messdaten-Datenmenge-Strategie)
Messdaten - Datenmenge - Strategie?! - Sagi - 24.05.2013 11:33
Hallo alle zusammen!
Hätte eine Frage bzgl einer Datenverwaltungsstrategie.
Und zwar würde ich gern Messdaten von x Kanälen aufzeichnen, mit Timestamp und Wert.
Klingt noch einfach, leider soll das Ganze über mehrere Monate auf ner cRIO laufen und Daten entsprechend loggen, Idealerweise wie folgt:
- Messdaten im ~1 Sekundentakt aufnehmen
- Wenn gewisse Einflüsse gegeben sind soll allerdings die Auflösung auf ~10-100ms hoch gedreht werden
Meine Idee:
ich nehme alle Daten in der höchsten Auflösung auf, solange kein Ereignis statt findet verwerfe ich 9 von 10 Werten, damit ich nicht Unmengen an unnützen Daten sammle.
Sobald ein Ereignis auftritt würde ich x Werte vor diesem Ereignis und y Werte nach diesem Ereignis in der hohen Auflösung behalten um nähere analysen über diesen Bereich machen zu können
Macht das so Sinn?
Oder denke ich zu kompliziert?
Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?
Danke
Sagi
RE: Messdaten - Datenmenge - Strategie?! - Holy - 24.05.2013 19:04
(24.05.2013 11:33 )Sagi schrieb: ...
Macht das so Sinn?
Oder denke ich zu kompliziert?
Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?
Dein Ausdünnungsansatz macht auf jeden Fall Sinn. Ein typisches Problem ist aber der Fall, dass Daten nicht höchaufgelöst vorliegen aber im Nachgang es aber gut wenn es so wäre(z.B. ungünstige Triggerschwellen etc.).
Thema externe Datenspeicherung bzw. -auswertung entscheidet sich meist nach folgenden Kriterien:
- Sind die Messdaten wichtig und sollten daher einer Datensicherung unterliegen?
- Wie groß ist die Datenmenge und passt diese überhaupt auf ein cRIO?
- Soll während eines Messlaufes auf die Daten (oft/mehrfach...) zugegriffen werden können?
Ein Ausfall/Verbindungsabbruch zwischen cRIO und PC könnte man z.B. mittels Zwischenpufferung auf dem cRIO lösen.
RE: Messdaten - Datenmenge - Strategie?! - Sagi - 24.05.2013 21:42
Hallo Holy!
Danke für deinen Beitrag!
Zu deinen Punkten:
- ich sehe es genauso und aktuell sieht es so aus das die Schwellen und Ereignisse noch nicht wirklich durchdacht und vorhanden sind. Also wäre es wirklich sinnvoll alle Daten zu sichern
- Das Buffern auf der cRIO war auch mein erster Gedanke, die hat ja leider nicht allzu viel Speicher. Könnte man evtl sogar mit USB Speicher verwirklichen
- Datenmenge kommt schon einiges zusammen, in der ersten Ausbaustufe sollen es 32 Kanäle einer Analog-Input-Karte sein, es sollen aber noch mehr möglich sein.
Gibt es für dieses Szenario mit Zwischenpuffern auf der RIO vlt schon Mechanismen die sich bewährt haben die man sich ansehen könnte? Man muss ja nicht immer alles neu erfinden
Aber schonmal vielen Dank!
Sagi
RE: Messdaten - Datenmenge - Strategie?! - Holy - 24.05.2013 22:07
(24.05.2013 21:42 )Sagi schrieb: ...
- Das Buffern auf der cRIO war auch mein erster Gedanke, die hat ja leider nicht allzu viel Speicher. Könnte man evtl sogar mit USB Speicher verwirklichen
- Datenmenge kommt schon einiges zusammen, in der ersten Ausbaustufe sollen es 32 Kanäle einer Analog-Input-Karte sein, es sollen aber noch mehr möglich sein.
Gibt es für dieses Szenario mit Zwischenpuffern auf der RIO vlt schon Mechanismen die sich bewährt haben die man sich ansehen könnte? Man muss ja nicht immer alles neu erfinden
Die Erweiterung des Speichers mittels USB-Stick bzw. USB-Festplatte ist möglich, aber meiner Meinung nach für zuverlässige Lösungen eher suboptimal. Einerseits weil du den Anschluss nicht festschrauben kannst und zweitens weil du ein Abziehen im laufenden Betrieb nicht detektieren kannst. Das führt letztendlich dazu, dass nach abgezogenem USB die Daten, nicht wie zu erwarten mit Fehler nicht geschrieben werden können sondern im Unternordner /C/U/... landen und dann das Laufwerk des cRIO zumüllen.
Zwischenpuffern kannst du einerseits in der direkten Übertragung zu einem übergeordneten PC, z.B. mit Netstreams. Oder ganz trivial die Dateien auf dem cRIO schreiben und dann mittels FTP auf den PC schieben bzw. von diesem abholen lassen.
RE: Messdaten - Datenmenge - Strategie?! - Sagi - 27.05.2013 08:47
Hallo!
Danke für deinen Input!
Network Stream war das was ich gesucht habe. Mir ist nur leider nicht mehr eingefallen wie sie hießen bis du sie erwähnt hast
Danke
Sagi
RE: Messdaten - Datenmenge - Strategie?! - Lucki - 28.05.2013 08:20
(24.05.2013 11:33 )Sagi schrieb: Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?Nicht nur die Auswertung, auch die Datenerfassung könnte ohne Weiteres auf einen PC verlegt werden.
Denn die PC-Messdatenerfassungskarten sind üblicherweise autarke Realtime-Erfassungssysteme, mit eigenem Prozessor, Timern usw. Der Datenautausch zum Windows-PC erfolgt über Puffer, so dass keine Daten verloren gehen können, wenn sich der PC vorübergehend mal mit etwas anderem beschäftigt.
Mit anderen Worten: Ein Echtzeit-System braucht man nur, wenn diese Pufferung tödlich wäre, weil die Daten in Echtzeit ausgewertet werden müssen, wie das z.B bei einer Regelung der Fall ist. Eine stetige, unterbrechungsfreie Datenerfassung ist hingegen auch mit normalen PCs möglich.