Партнёр-3 зовёт меня одну на выходные — я отказала, теперь сомневаюсь правильно ли

Мы с мужем 4 года в свинге, есть постоянный буллик из Минска (мы из Москвы, он приезжает раз в полтора месяца). Между нами тремя всё прозрачно, тёплые отношения, секс отличный. На прошлой неделе он написал лично — 'приезжай в Минск одна на выходные, давай нормально вдвоём, мне хочется'. Я в первый момент дёрнулась — приятно, хочется, представила полёт, отель, два дня только с ним. И ответила 'нет, у нас правило — только вместе с мужем'. Сейчас вторые сутки сижу и думаю — может это была ошибка, может надо было хотя бы обсудить с мужем а не отрезать сразу. И сама себя не понимаю — отказалась по правилу но в груди какое-то тянущее чувство 'упустила'. Это нормально или это уже звоночек что я зашла глубже чем сама признаю?