Bestimmte Daten aus csv Datei in Array schreiben

Guten Abend,

ich Rahmen eines Projekts meiner Hochschule bin ich an einem Projekt bei. Es erkläre die Problemstellung.

Ich habe eine .csv Datei, welche um die 200MB groß ist. Diese enthält vier Spalten mit Werten.

Dies sieht ungefähr so aus:

Header
Header
Header
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert
wert,wert,wert,wert

Die Datei hat am Anfang und Ende ziemlich viele unnütze "nullen" welche nicht dargestellt werden müssen. Es erfolgt bei der Messung ein "Ereignis"

Es geht darum, die Messwerte in einem XY Plot darzustellen. Es ist mir schon gelungen, die csv Datei in vier Arrays zu zerlegen, damit ich diese als Quelle für den XY Graph benutzen kann. Das Problem besteht darin, dass das nur bei einer relativ kleinen Datei funktioniert. Bei einer zu großen Datei füllt sich der Arbeitsspeicher und es erscheint eine Fehlermeldung.

Mein Ansatz zur Lösung des Problems (was ich aber bisher noch nicht realisieren konnte):
1.
Bevor die Daten in die vier Arrays geschrieben werden, muss ich irgendwie hinbekommen, dass nur die Zeilen hineingeschrieben werden, welche eine bestimmte Schwelle überschritten haben. Es gibt eine Menge an Zeilen mit werten im 10^(-3) bereich. Also sobald einer der vier Werte kleiner als z.B. 0,1 ist, soll die ganze Zeile übersprungen werden. So wird nur der "wichtige" Augenblick in das Array geschrieben.

2.
Die csv Datei "analysieren" und bestimmen in welcher Zeile die Werte Größer werden. Dann einen definierten bereich abspeichern.



Wie gesagt, ich habe es hinbekommen dass es mit einer relativ kleinen Datei funktioniert (30MB). Aber mit der Originaldatei klappt es nicht.


MfG

Anzeige