Hat das Finanzamt auch hier Recht?

Hallo!
Das Finanzamt hat mir im Rahmen einer gesonderten Feststellung eines verbleibenden Verlustvortrags zur Einkommensteuer nachträglich 5.000 € Werbungskosten für das Jahr 2002 anerkannt. Diese Verluste wurden nach 2003 vorgetragen, und das Jahr 2003 nochmals neu veranlagt. Im Jahr 2003 hatte ich jedoch gar keine Steuern bezahlt, da der Gesamtbetrag meiner Einkünfte damals nur 6.000 € betrug und somit unter dem Grundfreibetrag lag. Dennoch wurden meine Verluste im Jahr 2003 verrechnet, wo ich gar keine Steuern gezahlt hatte (bzw. alle vorausbezahlten Steuern nach der Veranlagung 2003 zurückerstattet wurden), und nicht im Jahr 2004, wo die Verluste erst tatsächliche Auswirkungen gehabt hätten (Gesamtbetrag der Einkünfte 20.000 €). Hat das Finanzamt rechtmäßig gehandelt? Warum (nicht)? Vielen Dank!