Probleme mit Vergleichsoperation "kleiner gleich"

' schrieb:Gibt es denn die Möglichkeit dem LV mitzuteilen, dass intern im Kern alle Werte z.B.
auf 6 Nachkommastellen gerundet werden?!?

Das einzige was mir dazu einfällt ist ein neues Datenformat, welches ich erst kürzlich entdeckt habe. Keine Ahnung, ob es das erst seit 8.5 gibt - machmal sieht man ja den Wald vor Bäumen nicht. Ein Hilfe dazu habe ich auch noch nicht gefunden.
Es handelt sich um das Format FIX. Es ist ein Zahl mit Komma, nur der Unterschied zu DBL ist, daß sie intern nicht mit Mantisse und Exponent, sondern als Integer gespeichert ist.
Damit dürften solche "Rundungseffekte ohne sichtbaren Grund" nicht auftreten dürfen. Ausnahme natürlich Divisionsoperationen, die nicht aufgehen.
Habe Dein VI mal umgestelt auf 6 Kommastellen. Keine Ahnung, warum der Konvertierungspunkt erscheint. Weiß das jemand?
Das Ganze funktioniert natürlich nur, wenn der Wertebereich unter Kontrolle ist. Man kann mit FIX nicht mit den Zehnerpotenzen beliebig herumspringen.

  Vergleich_2_1_.vi (Größe: 12,31 KB / Downloads: 272)