+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenbank & File IO (/Forum-Datenbank-File-IO)
+---- Thema: Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei (/Thread-Lesen-Von-Circa-60-Mio-Daten-Aus-Einer-Tabellenkalkulationsdatei)
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - steffenm - 03.02.2009 19:22
Hallo,
ich speicher über ein Dauer von circa 1000 Stunden, je Sekunde, von maximal 16 Kanälen Daten (57,6 Mio Daten).
Dies klappt soweit super.
Das Problem was ich habe ist, dass beim Auslesen immer der Fehler "LabVIEW: Speicher ist voll" kommt.
Ich kann die Daten also nicht mehr lesen.
Was kann ich tun, die Daten anders speichern/lesen, ist das Auslesen von so vielen Daten mittels LabVIEW überhaupt möglich.
Gruß Steffen
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - Y-P - 03.02.2009 20:01
Schau' Dir mal diese Lösungen an.
Gruß Markus
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - Achim - 04.02.2009 06:53
Hi,
im Link von Y-P ist die meiner Meinung nach geeignetste Lösung genannt: Solche große Mengen Daten sollten mit der dafür passenden SW verarbeitet werden, z.B. mit DIAdem...ne Alternative ist FlexPro.
In LV gibt's dazu auch separate VI's, mit denen du die Daten gleich im "DIAdem-Format" speichern kannst!
Alternativ könntest du mal überlegen, ob du über einen so langen Zeitraum wirklich so häufig speichern musst. Mich würde mal interessieren, welche Art von Anwendung hier überwacht werden muss!
Gruß
Achim
Post #2900
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - Dennis.Moser - 04.02.2009 07:38
Hallo,
wie wäre es mit einer Datenbank als Speicherlösung ?
Hier kannst du dann immer das auslesen, was auch wirklich benötigt wird, ohne die ganze Datei in den Speicher zu laden... ?!
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - steffenm - 04.02.2009 07:53
Hallo,
danke erstmal für die vielen Antworten, werde mich mal an den verschiedenen Möglichkeiten versuchen.
Also kann ich das Lesen mittels "Read From Spreadsheet File" wahrscheinlich vergessen.
@Achim
Es handelt sich um Alterungsversuche eines Prüfling welcher sich in einer Salznebelkammer befindet.
Eine Vorgabe dafür ist, dass jede Sekunde Betriebsspannung, Ableitströme, Temperatur und Luftfeuchte erfasst werden sollen.
Gruß Steffen
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - Achim - 04.02.2009 08:17
' schrieb:@Achim
Es handelt sich um Alterungsversuche eines Prüfling welcher sich in einer Salznebelkammer befindet.
Eine Vorgabe dafür ist, dass jede Sekunde Betriebsspannung, Ableitströme, Temperatur und Luftfeuchte erfasst werden sollen.
Aha...trotzdem kann ich nicht verstehen, das bei einem Test, der 1000 Stunden (1000 * 60 * 60 Sekunden) jede Sekunde Messwerte aufgenommen werden! Es handelt sich ja um einen Alterungsversuch, d.h. da werden mehrere Jahre "simuliert"...welche Aussagekraft da "Sekundenwerte" haben, erschließt sich mir nicht...aber das ist ja nicht dein Problem...oder aber doch
Gruß
Achim
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - kpa - 04.02.2009 09:49
Hallo Steffen,
Mit "Read from Spreadsheet File.vi" musst Du nicht die ganze Datei lesen. Du kannst Teile lesen um nur einen bestimmten Teil auszuwerten.
Oder Du liest Stück für Stück und dezimierst diese Teile und fügst sie wieder zusammen dann hast Du den ganzen Zeitraum.
kpa
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - gottfried - 04.02.2009 10:25
Also wenn ich große Datenmengen verarbeite, lese ich zeilenweise ein. Dann hat man alles im Griff.
Datenbanken machen einen riesigen Aufwand und der Zugriff ist auch nicht immer das was man sucht.
Bitte nicht vergessen: man kann auch Memory nachkaufen - meist eine billigere Lösung als herumzuprogrammieren :-)
Viel Erfolg
Gottfried
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - steffenm - 04.02.2009 15:58
' schrieb:Hallo Steffen,
Mit "Read from Spreadsheet File.vi" musst Du nicht die ganze Datei lesen. Du kannst Teile lesen um nur einen bestimmten Teil auszuwerten.
Oder Du liest Stück für Stück und dezimierst diese Teile und fügst sie wieder zusammen dann hast Du den ganzen Zeitraum.
kpa
Hallo,
so ähnlich habe ich das jetzt auch vor, suche mir von 1000 Messwerten den maximalen und minimalen Wert und gebe nur diesen aus.
Gehe ich tiefer in Auflösung gehe ich auf 100 Messwerte u.s.w..
Ist für mich denke ich die beste Lösung, wäre ja auch sinnlos Millionen Messwerte einzulesen die eh kein Bildschirm darstellen kann.
Danke nochmals an alle für die Hilfe, bin echt begeistert von diesem Forum.
Gruß Steffen
Lesen Von Circa 60 Mio Daten Aus Einer Tabellenkalkulationsdatei - jg - 04.02.2009 20:46
Noch ein kleiner Nachtrag:
LV kann meines Wissens momentan 2GB Datenspeicher verwalten.
Machen wir mal eine kleine Überschlagsrechnung: runden wir mal der Einfachheit halber auf 60 Mio Datenpunkte auf.
So, wenn du die alle im Speicher halten willst, belegt das beim Format double 8 Byte pro Zahl, macht also 480 MB. Ist schon mal nicht ohne... Und wenn du jetzt noch irgendwo lokale Variablen o.ä. hast, dann werden davon auch noch Kopien angelegt.
Jetzt Punkt 2 der Überschlagsrechnung: Da du von "Read from Spreadsheet" sprichst, dieses VI liest bei "naiver" Verwendung erst einmal den gesamten File als String ein. Jetzt weiss ich nicht, mit wievielen Zeichen pro Zahl du deinen File gespeichert hast, aber du weisst sicher, wie groß dein File ist. Aber wenn ich mal von ca. 10 Zeichen pro Zahl ausgehe (inkl. Trennzeichen wie TABs und CRs), dann sind das auch mindestens 600 MB, und das im Speicher!
Alles nicht ohne.
Der Tip von Gottfried, das Ganze schrittweise einzulesen, ist da sicher der richtige Weg.
Gruß, Jens