INFO: Dieses Forum nutzt Cookies...
Cookies sind für den Betrieb des Forums unverzichtbar. Mit der Nutzung des Forums erklärst Du dich damit einverstanden, dass wir Cookies verwenden.

Es wird in jedem Fall ein Cookie gesetzt um diesen Hinweis nicht mehr zu erhalten. Desweiteren setzen wir Google Adsense und Google Analytics ein.


Antwort schreiben 

Messdaten - Datenmenge - Strategie?!



Wenn dein Problem oder deine Frage geklärt worden ist, markiere den Beitrag als "Lösung",
indem du auf den "Lösung" Button rechts unter dem entsprechenden Beitrag klickst. Vielen Dank!

24.05.2013, 11:33
Beitrag #1

Sagi Offline
LVF-Grünschnabel
*


Beiträge: 13
Registriert seit: May 2013

8.6,2010,2012,2013,2014,2015
2008
DE_EN

806xx
Deutschland
Question Messdaten - Datenmenge - Strategie?!
Hallo alle zusammen!

Hätte eine Frage bzgl einer Datenverwaltungsstrategie.

Und zwar würde ich gern Messdaten von x Kanälen aufzeichnen, mit Timestamp und Wert.

Klingt noch einfach, leider soll das Ganze über mehrere Monate auf ner cRIO laufen und Daten entsprechend loggen, Idealerweise wie folgt:
- Messdaten im ~1 Sekundentakt aufnehmen
- Wenn gewisse Einflüsse gegeben sind soll allerdings die Auflösung auf ~10-100ms hoch gedreht werden

Meine Idee:
ich nehme alle Daten in der höchsten Auflösung auf, solange kein Ereignis statt findet verwerfe ich 9 von 10 Werten, damit ich nicht Unmengen an unnützen Daten sammle.
Sobald ein Ereignis auftritt würde ich x Werte vor diesem Ereignis und y Werte nach diesem Ereignis in der hohen Auflösung behalten um nähere analysen über diesen Bereich machen zu können


Macht das so Sinn?
Oder denke ich zu kompliziert?
Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?


Danke
Sagi
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
Anzeige
24.05.2013, 19:04 (Dieser Beitrag wurde zuletzt bearbeitet: 24.05.2013 19:05 von Holy.)
Beitrag #2

Holy Offline
LVF-Stammgast
***


Beiträge: 339
Registriert seit: Sep 2008

2014
2007
EN

09XXX
Deutschland
RE: Messdaten - Datenmenge - Strategie?!
(24.05.2013 11:33 )Sagi schrieb:  ...
Macht das so Sinn?
Oder denke ich zu kompliziert?
Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?

Dein Ausdünnungsansatz macht auf jeden Fall Sinn. Ein typisches Problem ist aber der Fall, dass Daten nicht höchaufgelöst vorliegen aber im Nachgang es aber gut wenn es so wäre(z.B. ungünstige Triggerschwellen etc.).

Thema externe Datenspeicherung bzw. -auswertung entscheidet sich meist nach folgenden Kriterien:
  • Sind die Messdaten wichtig und sollten daher einer Datensicherung unterliegen?
  • Wie groß ist die Datenmenge und passt diese überhaupt auf ein cRIO?
  • Soll während eines Messlaufes auf die Daten (oft/mehrfach...) zugegriffen werden können?

Ein Ausfall/Verbindungsabbruch zwischen cRIO und PC könnte man z.B. mittels Zwischenpufferung auf dem cRIO lösen.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
24.05.2013, 21:42
Beitrag #3

Sagi Offline
LVF-Grünschnabel
*


Beiträge: 13
Registriert seit: May 2013

8.6,2010,2012,2013,2014,2015
2008
DE_EN

806xx
Deutschland
RE: Messdaten - Datenmenge - Strategie?!
Hallo Holy!

Danke für deinen Beitrag!


Zu deinen Punkten:
- ich sehe es genauso und aktuell sieht es so aus das die Schwellen und Ereignisse noch nicht wirklich durchdacht und vorhanden sind. Also wäre es wirklich sinnvoll alle Daten zu sichern
- Das Buffern auf der cRIO war auch mein erster Gedanke, die hat ja leider nicht allzu viel Speicher. Könnte man evtl sogar mit USB Speicher verwirklichen
- Datenmenge kommt schon einiges zusammen, in der ersten Ausbaustufe sollen es 32 Kanäle einer Analog-Input-Karte sein, es sollen aber noch mehr möglich sein.


Gibt es für dieses Szenario mit Zwischenpuffern auf der RIO vlt schon Mechanismen die sich bewährt haben die man sich ansehen könnte? Man muss ja nicht immer alles neu erfinden Wink

Aber schonmal vielen Dank!
Sagi
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
24.05.2013, 22:07 (Dieser Beitrag wurde zuletzt bearbeitet: 24.05.2013 22:08 von Holy.)
Beitrag #4

Holy Offline
LVF-Stammgast
***


Beiträge: 339
Registriert seit: Sep 2008

2014
2007
EN

09XXX
Deutschland
RE: Messdaten - Datenmenge - Strategie?!
(24.05.2013 21:42 )Sagi schrieb:  ...
- Das Buffern auf der cRIO war auch mein erster Gedanke, die hat ja leider nicht allzu viel Speicher. Könnte man evtl sogar mit USB Speicher verwirklichen
- Datenmenge kommt schon einiges zusammen, in der ersten Ausbaustufe sollen es 32 Kanäle einer Analog-Input-Karte sein, es sollen aber noch mehr möglich sein.


Gibt es für dieses Szenario mit Zwischenpuffern auf der RIO vlt schon Mechanismen die sich bewährt haben die man sich ansehen könnte? Man muss ja nicht immer alles neu erfinden Wink

Die Erweiterung des Speichers mittels USB-Stick bzw. USB-Festplatte ist möglich, aber meiner Meinung nach für zuverlässige Lösungen eher suboptimal. Einerseits weil du den Anschluss nicht festschrauben kannst und zweitens weil du ein Abziehen im laufenden Betrieb nicht detektieren kannst. Das führt letztendlich dazu, dass nach abgezogenem USB die Daten, nicht wie zu erwarten mit Fehler nicht geschrieben werden können sondern im Unternordner /C/U/... landen und dann das Laufwerk des cRIO zumüllen.

Zwischenpuffern kannst du einerseits in der direkten Übertragung zu einem übergeordneten PC, z.B. mit Netstreams. Oder ganz trivial die Dateien auf dem cRIO schreiben und dann mittels FTP auf den PC schieben bzw. von diesem abholen lassen.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
27.05.2013, 08:47
Beitrag #5

Sagi Offline
LVF-Grünschnabel
*


Beiträge: 13
Registriert seit: May 2013

8.6,2010,2012,2013,2014,2015
2008
DE_EN

806xx
Deutschland
RE: Messdaten - Datenmenge - Strategie?!
Hallo!

Danke für deinen Input!

Network Stream war das was ich gesucht habe. Mir ist nur leider nicht mehr eingefallen wie sie hießen bis du sie erwähnt hast Smile

Danke
Sagi
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
28.05.2013, 08:20
Beitrag #6

Lucki Offline
Tech.Exp.2.Klasse
LVF-Team

Beiträge: 7.699
Registriert seit: Mar 2006

LV 2016-18 prof.
1995
DE

01108
Deutschland
RE: Messdaten - Datenmenge - Strategie?!
(24.05.2013 11:33 )Sagi schrieb:  Würdet ihr eher alle Daten auf einen Windows PC holen und dort auswerten? Was passiert wenn der PC mal in den x Monaten abschmiert?
Nicht nur die Auswertung, auch die Datenerfassung könnte ohne Weiteres auf einen PC verlegt werden.
Denn die PC-Messdatenerfassungskarten sind üblicherweise autarke Realtime-Erfassungssysteme, mit eigenem Prozessor, Timern usw. Der Datenautausch zum Windows-PC erfolgt über Puffer, so dass keine Daten verloren gehen können, wenn sich der PC vorübergehend mal mit etwas anderem beschäftigt.
Mit anderen Worten: Ein Echtzeit-System braucht man nur, wenn diese Pufferung tödlich wäre, weil die Daten in Echtzeit ausgewertet werden müssen, wie das z.B bei einer Regelung der Fall ist. Eine stetige, unterbrechungsfreie Datenerfassung ist hingegen auch mit normalen PCs möglich.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
Anzeige
30
Antwort schreiben 


Möglicherweise verwandte Themen...
Themen Verfasser Antworten Views Letzter Beitrag
  Messdaten benennen, Messdaten schreiben verzögern Bobble 6 1.457 29.10.2024 15:47
Letzter Beitrag: Martin.Henz
  Zu hohe Datenmenge? Programm stürzt ab Thomas K aus W 11 11.745 07.01.2011 11:25
Letzter Beitrag: unicorn

Gehe zu: