"Komm doch mal allein vorbei" — wie lehnt man dit ab ohne unhöflich zu sein

Wir spielen seit ungefähr neun Monaten mit nem Pärchen aus Stuttgart, immer zusammen, immer in geklärtem Setting. Sehr nett, n bissl jünger als wir, aber gute Chemie. Letzten Freitag, nachdem wir aufgehört haben und in der Küche n Glas Wein hatten, hat er gesagt zu mir (ick, Frau, 40): "Wenn du mal in Stuttgart bist und meine Frau nich da is, komm doch n Kaffee trinken. Ganz unverbindlich." Mein Mann saß n Meter weg, hat dit gehört, hat n bissl gelächelt aber ick hab seinen Kiefer angespannt gesehen. Ihre Frau war oben am Aufräumen, hat dit nich mitgekriegt. Ick hab ehrlich gesagt nichts gesagt, hab nur gelächelt und Thema gewechselt. Im Auto auf dem Heimweg haben wir geredet. Mein Mann is nich sauer, aber er hat gesagt: "Wir müssen dit ansprechen, sonst hängt dit wie n Köder zwischen uns." Stimmt. Aber wie sage ich dit dem Mann höflich aber klar dass dit nich passieren wird, ohne den ganzen Kontakt zu verbrennen? Ich mag die beiden ja als Paar. Habt ihr Formulierungen wie man sowat zurückspielt ohne Drama?