В зависимости от контекста и ситуации, но всё-таки - больше "нет", - "мужик" по оттенку равнозначен "бабе".
Употребление нейтральных "мужчина", "женщина" - оптимально в уважительных или нейтральных коннотациях, что и нужно было сказать тем соседям.
Давно обратил внимание, что некоторая женская...