Vielleicht muss man garnicht so kompliziert denken.
Möglicherweise reicht in diesem Fall auch ein simples Copy&Paste Deploment.
Dein Programm übersetzen. Von Debug auf Release umschalten und Projekt erstellen.
Im Unterorder des Projektes bin\Release ist dann die fertige Exe enthalten.
Diese kann dann mit anderen benötigten Dateien zusammengepackt und versendet werden.
Sind Einstellungen in der Konfigurationsdatei hinterlegt gehört diese da mit rein. Sie heisst <programmExeName>.config.
Das Archiv kann dann auf dem Zielrechner entpackt werden und dort lokal gestartet werden unter den Vorraussetzungen:
1.) Die richtige Framework Runtime ist dort Installiert.
Bei VS 2005 -> 2.0, bei VS 2003 1.1 etc.
2.) Bei der Programmierung wurden nur Funktionalitäten aus dem Framework verwendet.
@Christian Kusmanow: Ein Setupprojekt gibt es meines Wissens erst ab VS Proffessional.