虽然戏里的白娘子最终和许仙走到了一起，但戏外的赵雅芝却没有这么顺利的感情经历。19岁那年，赵雅芝参加了香港小姐的比赛，并且成功取得了第四名的成绩，那时候的赵雅芝可谓是风光无限，再加上出道没多久又参演了《乘风破浪》，她本可以在娱乐圈有大好的前程。

但在22岁那年，赵雅芝却在父母的安排下，嫁给了医生黄汉伟，虽然在外人眼中黄汉伟工作稳定，前途无限，但在赵雅芝却并不想要这样平淡的生活，由于工作原因，赵雅芝常常需要到各地拍戏，在这个过程中，她和黄汉伟逐渐互生嫌隙。

不过真正压垮赵雅芝婚姻的，却是知名女星吴君如的公开爆料，1978年，赵雅芝和黄元申合作了电影《倚天屠龙记》，在这个过程中黄元申逐渐被赵雅芝吸引，甚至还给对方写了情书。消息传出之后，黄汉伟自然不满，但也苦于没有证据，就在这个时候，吴君如在参加节目时公开爆料，称赵雅芝是“装纯的小三”，