他在政壇打滾多年，也直言這幾年確實忽略了家庭生活。從政之前，他經常帶家人出國旅遊，投入政治之後卻幾乎抽不出時間，尤其經歷婚外情風波後，他坦言更懂得珍惜家庭。他也公開了妻子年輕時的照片，讓不少人驚訝直呼：「堅哥真的是人生勝利組！」
從曝光的照片來看，王世堅的另一半外型亮眼，頗有主播氣質，笑容甜美，五官深邃，相當討喜，以現在的標準來說幾乎是女神等級。影片來源：東森新聞 CH51。王世堅提到妻子時表示，她其實經常勸他：「不要嗆這麼兇啦～」不過他也說，自己常聽到耳邊有聲音，「我自覺上天好像要交付我什麼任務」，因此表示不會改變風格。