蔡元培一生有过三次婚姻。蔡元培的第一次婚姻，可以说完全是奉父母之命（严格来说是母亲之命）、媒妁之言的旧式婚姻。他的第一位夫人王昭是由母亲为他选择，蔡元培在婚礼之前甚至从来没有和王昭见过面。
1889年，蔡元培迎娶了王昭。王昭有洁癖，而且花钱极节省，但蔡元培却生性豪放、不拘小节，他更有大男子主义，常常要求王昭在所有事情上对他无条件服从，两人婚后经常发生口角。在最初的几年里，蔡元培似乎难以接受自己的妻子，就更别提爱她了，婚姻的契约只让他义务性地呆在妻子身边，当一个所谓的丈夫。就这样一晃过了7个年头，直到王昭为他陆续生下了两个儿子，他们才慢慢找到了夫妻生活的感觉。王昭是旧社会的妇女，在蔡元培面前，总要谦虚地称他为“老爷”。为此，参与百日维新的蔡元培还嗔怪她：“你以后可不要再叫什么‘老爷’，也不要再称什么‘奴家’了，听了多别扭呀？”而王昭总是温顺地说：“唉，奴家都叫惯了，总是改不过来呢。”1900年，接受了西方新思想的蔡元培开始重新思考女权的定义，他写出了《夫妻公约》，重新调整与妻子王昭的关系，这对结婚十多年的夫妻逐步互相理解、修复感情的裂痕。蔡元培与王昭维持了一段幸福的婚姻，蔡元培还告诉好友：“伉俪之爱，视新婚有加焉。”
1894年11月13日，长子阿根出生。在王昭夫人坐月子期间，蔡元培留在绍兴家中悉心照顾。满月后，蔡元培返京。三个月后，王昭夫人携子乘轮船行程五天到天津，蔡元培赶到天津迎接。王昭夫人初到北京，对天寒地冻的北方气候一时“水土”不服，阿根体弱也时有不适。好在蔡元培早为夫人和儿子雇到一位善解人意的女仆承担家务，蔡元培有时亦在工余时间陪阿根到医院就诊。1898年3月30日，次子无忌在北京绳匠胡同出生，家庭更添喜色。
中日甲午战争后，蔡元培目睹清政府腐败无能，加上康有为、梁启超变法失败，遂毅然弃职携眷出京返回绍兴，走“教育救国”之路。然而，不知何故，王昭夫人回乡半年多来经常低烧不退，每日午饭后便喜睡，口渴，饮水后即呕吐。一天，蔡元培正在浙江嘉兴商办会馆、义塾时，得到王昭夫人病重的口信，顾不得吃中饭，饿着肚子便赶路急回绍兴，请医生看病、配药。煎了药，王昭夫人仅能喝两三口药汤而已，多喝便呕吐，仍整天嗜睡。1900年6月5日，蔡元培派三弟去请医生，他自己在房门外不时看看王昭夫人是否醒来。傍晚时分，医生尚未请来，蔡元培叫无忌的奶妈进房间去问问王夫人喝不喝开水？奶妈进房后，呼之术应，伸手至鼻已无气息，惊呼：“不好了！不好了！”蔡元培急忙来到床边，抚脉，脉微动。医生赶到时，脉亦停止，已无回天之术。
王昭夫人病逝，年仅35岁。蔡元培忍着悲痛，为王昭夫人写了祭文与挽联，沉痛悼念，称颂她有“超俗之识与劲直之气”，赞扬她淡于名利，历尽妻子、母亲之责，不以丈夫中进士、点翰林为喜，不为丈夫辞官回乡而怨。王昭夫人生前曾问：“人死后之幽灵当居何处？”蔡元培在挽联中写道：“有子二人，真灵魂所宅耳。”
王昭去世的时候蔡元培刚满33岁，在江浙一带的知识界已经颇有名气了，来他家里提亲的人踏破了门槛。蔡元培面对纷至沓来的媒人，磨浓墨、铺素笺，挥毫写下了一张征婚启事贴在书房的墙壁上。他提出了五个条件：第一是不缠足的女性；第二是识字的；第三是男子不得娶妾、不能娶姨太太；第四，如果丈夫先死那么妻子可以改嫁；第五，意见不合可以离婚。消息传开来，媒人们顿时一个个退避三舍。
也许是姻缘天定，蔡元培在杭州办学的时候，有一天在朋友家看到一幅工笔画，线条秀丽、题字极有功底。他一打听，作者是江西名士黄尔轩的女儿黄世振，又名仲玉。黄仲玉出身书香门第，不但没有缠足，而且识字又精通书画、孝敬父母，完全符合蔡元培的择偶标准，于是他请朋友从中撮合。1902年元旦，蔡元培在杭州举办了他一生中的第二次婚礼。这次婚礼中西合璧。蔡元培用红幛缀成“孔子”二字，代替悬挂三星画轴的传统，宾朋以开演说会的形式代替闹洞房。演说内容为评论男女平等的见解：有的引经证史，说明男女平等的理论；有的认为就学行而言难以平等，并举例：“倘若黄夫人的学行高出于蔡先生，则蔡先生当以师礼待黄夫人；反之，若黄夫人的学行不及蔡先生，则蔡先生当以弟子视之，何从平等呢？”于是，蔡元培折衷两端，说道：“就学行言，固然有先睛之分；就人格言，总是平等的。”大家鼓掌赞同，最后尽兴而散。
1907年，已近不惑之年的蔡元培开始了4年海外留学的生活。在德4年，他编著了《中国伦理学史》，蔡元培由最初的大男子主义思想，转变成为寻求妇女平等权利的斗士，他的第二位夫人黄仲玉可谓对此作用不小。莱比锡大学的兰普来西教授，是史学界的革新者，创设的文明史与世界史研究所有很多学生。蔡元培极其憧憬兰普莱西，还称赞兰氏讲史，最注重美术，尤其造型美术，如雕刻、图画等。蔡元培携黄仲玉夫人一起拜访兰普来西教授，赠以景泰蓝茶杯二具，并由黄夫人赠送一幅亲绘的《岁寒三友图》，图内松、竹、梅“三友”工笔细致精到，布局新颖别致。兰氏见到此画激动万分，赞不绝口。
1920年9月，教育部复准蔡元培赴欧美考察教育及学术研究等事务，由蒋梦麟代理校长职务。此时，黄仲玉夫人腹部经常胀痛，经医生诊疗，时好时差。蔡元培一考虑赴欧美考察需时半年以上，对黄夫人身体状况很不放心。黄仲玉一面请医生诊治，一面整理行装，力促蔡元培按期成行。1920年11月24日，蔡元培率北京教育团自上海吴淞口登法船高尔地埃号赴法。第五天，蔡元培在船行途中发电蒋梦麟，询问夫人病情，复电告知小愈，蔡元培认为这是宽慰话，总是放心不下。船行三十余日，12月27日抵达法国。蔡元培致电李石曾，询问夫人病情。久不得复。1921年1月9日自巴黎至日内瓦，在旅馆得蒋梦麟电，知夫人黄仲玉已于当月2日病逝，时年45岁。
蔡元培怀着万分悲痛心情，作《祭亡妻黄仲玉》一文，称颂黄夫人“善书、善画、善为美术之天才”，“孝于亲，睦于弟妹，慈于子女”，“常克勤克俭，以养我之廉，以端正子女之习惯”；“爱我以德，无微不至”。同时，蔡元培为告慰黄仲玉夫人，允诺：“汝所爱者，威廉也。柏龄也……我回国以后，必躬自抚养，使得受完全教育，为世界上有价值之人物，有所贡献于世界，以为汝母教之纪念。”《悼亡妻黄仲玉》字字血泪、情真意切，后来被收入了中学课本，成为抒情散文的典范。北京大学等学校、团体举行了隆重的“蔡黄仲玉夫人追悼会”。蔡元培无法回国参加，强抑悲痛之心情继续完成历时9个月的考察任务。
在蔡元培54岁时，时任北大校长的他决定续娶，他再次提出自己的条件：一、具备相当的文化素质；二、年龄略大；三、熟谙英文，能成为研究助手。由挚友徐仲可先生及夫人何墨君为介绍人，1923年7月10日，蔡元培与周峻（养浩）女士在苏州留园举行结婚典礼。周峻是蔡元培先生原来在上海成立的爱国女校的一名学生，这名学生对蔡元培先生一直抱有一种敬佩与热爱的情感，她一直到33岁还没有结婚。当时蔡元培和周峻两人年龄相差有24岁。
婚礼按照苏州地区民俗风情办得简朴、隆重、热烈。身穿西装的蔡元培在婚礼上即席演说，说明征婚条件：一、我年已五十七，且系三娶，所欲娶者为寡妇，或离婚之妇，或持独身主义而非极端者，惟年龄须在三十岁以上；二、我熟悉德文，略通法文，而英文则未尝学好，故愿娶一位长于英文的女子；三、我不信宗教，故不欲以宗教中人为妻；四、我嗜好美术，尤愿与研究美术者为偶；五、我既辞去北京大学校长，即将去比利时或瑞士继续求学，有志愿留学欧洲的女子，有所欢迎。再是，希望是原有相应认识者。恰巧，周峻（养浩）女士年三十三，原上海爱国女校毕业，曾改名为周怒清，有反清革命思想，学英文多年，非宗教中之人，亦嗜美术，油画作品有相当水平，有志游学。介绍人徐仲可先生认为周峻是一位“才、学、识三者具备之闺秀也”。
这次的婚礼完全是现代文明式的，当时蔡元培到周峻下榻的宾馆迎接周峻，之后两人一起到苏州留园拍摄了结婚照片。当时的蔡元培西装革履，周峻身披白色的婚纱。蔡元培偕夫人新婚不到半月，7月20日携次子无忌、长女威廉、三子柏龄、内侄黄纪霆及黄纪兴在上海黄浦码头乘波楚斯号船赴欧洲考察。故蔡元培与周峻夫人是在赴欧游船上度过新婚蜜月的，正如蔡元培后来为周夫人46岁生日所作贺诗中写到的：“遂于蜜月里，海上听涛声”，别有情趣。期间，北洋政府授权，蔡元培偕夫人游说英伦，力促英国退出“庚款”，卓有成效。
蔡元培与周夫人都喜吟诗，时常联句、唱和，生日必互赠贺诗，表达爱慕之情。如贺夫人周养浩50岁生日七律一首：“蛩驱相依十六年，耐劳嗜学尚依然，岛居每恨图书少，春至欣看花鸟妍。儿女承欢凭意匠，亲朋话旧诩心田，一樽介寿山阴酒，万壑千岩在眼前。”夫人周养浩擅长油画，曾为蔡先生描摹全身，惟妙惟肖，确系神来之笔。蔡元培十分喜爱，专为此题诗：“我相迁流每刹那，随人写照各殊科。惟卿第一能知我，留取心痕永不磨。”周夫人亦有和作，其中有“天荒地老总不磨”一句，表达自己的心愿。