Wenn ich mir die beiden Screenshots anschaue, wird eigentlich schnell klar, dass es sich bei dem Problem nicht um mangelnde Auflösung oder ein oder zwei Pixel mehr oder weniger handelt. Die Anzeige ist ja keienswegs verpixelt.
Meine starke Vermutung ist, dass im Programm die Umrechnung der Grafik falsch programmiert ist. Bei Änderung der Auflösung, was ja die beiden Screenshots unterscheidet, muss die Grafik ja jeweils neu berechent werden - und dabei geht wohl was schief. Ich gehe bei dieser Vermutung davon aus, dass jeweils für jede der beiden Grafiken mit lilypond neu berechnet wurde?
Ich würde den Frescobaldi-Nutzern empfehlen, entweder einen Bugreport mit den beiden Screenshots an die FrescobaldiEntwickler zu posten ud ich würde empfehlen, gleich die Vermutung einer fehlerhaften Umrechnung mitliefern. Oder selbst analysieren, ich glaube Frescobaldi ist in Python geschrieben. Python gilt als leichte Sprache ähnlich zu C, aber ohne Semikolon, die auch Anfänger nutzen können sollen.
An Lilypond liegt das Problem sicher nicht.
Grüße