Größere Datenmenge einlesen

Hallo zusammen,

ich lese Daten als Strings aus einer 75MB *.csv Datei aus. Wenn ich mir die Speicherbelegung ansehe, dann benötigt das VI, dass ich mir gebaut hab jedoch über 500MB, um die Daten zu speichern. Dabei hab ich schon versucht mit der Inplace Struktur zu arbeiten. Offensichtlich nicht sehr erfolgreich.

Hinweise woran es liegen könnte und wie ich die tatsächlich benötigte Speichermenge näher an die 75MB schieben kann?

Dank schon im Vorraus.

Anzeige

Hallo,

wenn eine csv-Datei 75MB groß ist, kann sie bis zu 37.5M Zahlenwerte enthalten. Die benötigen dann (bei Speicherung als DBL) schon mal 300MB Speicher... Die Größe einer Textdatei ist nur "lose" mit dem Speicherbedarf gekoppelt!

Man kann den Speicherverbrauch reduzieren, wenn man eigene Konvertierroutinen verwendet und auf SpreadsheetStringToArray (für die komplette Datei auf einmal) verzichtet. Die InPlace-Struktur, um Daten in einem 2D-Array zu ersetzen, das wiederum in einem Schieberegister gespeichert ist, bringt dir wahrscheinlich kaum etwas...

Wenn ich das richtig sehe, liest Du aus ein, zwei, vielen Dateien ein. Also kann der Speicherbedarf entsprechend groß werden.

Außerdem ist das Array nicht initialisiert, das in dem Shift-Register "umläuft". Also legt LV mit jeder Vergrößerung des Arrays, dieses automatisch neu an. Die Inplace-Struktur kommt m. E. erst beim zweiten Durchlauf des VI (das Shiftregister wird nicht geleert) zum Tragen.

Wenn Du einmal sehr viele Daten eingelesen hast, ist die Datenmenge in dem Shift-Register entsprechend groß, so dass Du auch keine Abnahme des Speicherbedarfs sehen solltest, wenn Du danach nur eine kleinere Datenmenge einliest (weniger Dateien).

Noch ein paar Punkte...
Du hast mehrere Buffer in deinem VI: Daten werden im Schieberegister gespeichert (und belegen Speicher), der Array-Indicator belegt seine eigene Speicherkopie, evtl. kommen noch Buffer für den Datenausgang der ReadSpreadsheetFile-Funktion hinzu. Ruckzuck verdreifacht sich der eigentliche Speicherbedarf!

Die wohl wirksamste Methode, Speicherplatz zu sparen, ist das zeilenweise Einlesen der Daten. Es wird nur der bewirklich benötigte Teil jeder Zeile weitergegeben, und nicht benötigte Zeilen werden ignoriert. Das dauert zwar länger, aber nur wenig und bei Weitem nicht so viel länger als man zunächst vermuten könnte.
Man hat dann von vornherein nur den Teil der Daten im Speicher, den man wirklich braucht.

Noch läufts nicht, aber immerhin hab ich jetzt einen Ansatz. Danke!

Anzeige

Was auch noch eine Herausforderung bei sehr großen Arrays werden kann, ist die Verfügbarkeit eines entsprechend großen zusammenhängenden Speicherbereichs im RAM. Ich hatte regelmäßig Schwierigkeiten 500MB als 3D-Datenarray auf einem System mit 2GB-RAM in einem Stück einzulesen.