Ja stimmt, es lag daran, dass die Quelldatei eine jpg-Datei war. Die enthält ja logischerweise keine Transparenz und in der gespeicherten Form keine Ebenen. Das Problem habe ich jetzt gelöst, indem ich meine Änderungen vorgenommen habe (Hintergrundebene kopiert, gelöscht und dann frei gestellt) und die Datei neu als .psd gespeichert habe. Dann habe ich das neue Bild als neuen Inhalt für die Smartobjekte fest gelegt, das ging ganz einfach.

Das mit den Masken klappt leider auch nicht einfach so ohne es in einem neuen Format zu speichern, aus einer gesperrten Hintergrundebene kann man keine Maske erstellen.
Aber trotzdem vielen Dank für deine Tipps.