与前两次罢官不同，海瑞这一回似乎很少得到同情。
道理很简单：上两次海瑞反对的是个人(胡宗宪、鄢懋卿或者嘉靖皇帝)，这一回他反对的是整个官场。这个强劲的对手不论由谁出面来和海瑞对抗，都有两个坚强的后盾：一是根深蒂固、积重难返的官场传统，二是盘根错节、人数众多的文官集团。海瑞却只有一个人。他的武器，只不过是些空洞的道德信条，早就被人束之高阁，或视为粉饰。他的资本，也只是靠不怕死挣来的名声，一旦得罪了全体官僚，也就变得一文不值。所以，海瑞向整个官场发起的进攻，就只能是以卵击石，不碰得头破血流才是怪事!
显然，海瑞同整个官场是格格不入的。这使得他在第三次斗争中极为孤立，就连过去大力支持他的人和享有声誉清名的人都站到了他的敌对方面。那么，海瑞为什么会是这样一个人，他又为什么要同整个官场过不去呢？
看来，我们还必须从头说起。
海瑞的童年贫穷而不幸。父亲海翰在他四岁时即已去世，留下母亲谢氏(时年二十八岁)和他孤儿寡母两人相依为命，靠着几亩薄田和谢氏做些针线女红维持生计。他的生存环境很差，海南历来就是我们帝国天荒地远的边鄙，琼山也是一个穷困的县份。文人墨客望而生畏谈虎色变，历代皇帝则把它看作流放犯人以示惩罚的好地方。海瑞童年的生存环境一定是荒凉、贫穷而乏味，同时也很闭塞的。没有京都的恢宏气势，市井的繁华景象，古城的人文荟萃，水乡的悠长韵味。因此海瑞身上，也没有与之对应的东西，比方说，没有一个高级官员应有的雍容华贵，似乎也没有什么灵秀之气和人情味儿，反倒显得有些吝啬、琐屑和小气。他的政敌攻击他“不识大体”，倒并非诬蔑不实之词。因为他曾规定下属只有先交上一张誊正的公文，才能在他那里再领一张空白的公文纸。
海瑞的家庭生活也很不幸。中国人心目中最不幸的三件事：幼年丧父，中年丧妻，晚年丧子，他都有份。他曾结过三次婚，又有两个小妾。前两位夫人都因与婆母不和而被休去，其中第二位夫人过门才刚刚一个月。第三位夫人则在他五十五岁时可疑地死去。第三位夫人和一位小妾先后生过三个儿子，但都不幸夭折。不孝有三，断后为大，何况海瑞还是独子，就更是不幸之至了。
如此算下来，同海瑞一起生活时间最长的人，大约就是他的母亲谢老夫人。谢氏是一个坚强的女人，在极其困难的条件下把海瑞抚养成人，可谓呕心沥血，甘苦备尝。她既是慈母，又是严父，曾向海瑞口授经书，后来为他择师也谨慎而严格。海瑞对母亲，既感谢又孝顺，在南平、淳安、兴国和苏州时，都把母亲接到任上一起生活。母亲对他的影响也极深。史家多以为海瑞的善良、忠诚、刚毅和正直，就有他母亲的影子。
不过年轻时守寡带大儿子的老太太，心理上多少会有些问题，与儿媳的关系也不容易搞好；而一个家庭生活不幸的人，人际关系也往往紧张。史料证明，海瑞的家庭纠纷，不仅已成为政敌攻击的口实，也为时论所不满，谓其“笃于行谊，薄于闺阁”。其实这八字评语是海瑞祭文中的话，已经很客气了，政敌们嘴里说的肯定要难听得多。中国人是十分看重家庭生活的。家伦理也就是国伦理。人们相信，一个孝敬父母的人也一定能忠于国君(所以海瑞的忠诚无人怀疑)，而一个夫妻关系不好的人也一定很难和同僚和睦相处(这是海瑞遭受攻击最多之处)。许多中国人都认为，正如一个不会品尝食物滋味的人也一定没有艺术鉴赏力，一个没有男女之情的人也一定不通人情。因此海瑞的政敌们都以幸灾乐祸的口吻谈论他家庭关系的紧张，并以此作为他不好合作的一个证据。
海瑞的童年生活既如此单调，家庭生活又那样不幸，则他唯一的乐趣就只有工作。只有疯狂的工作才能填补他心灵的缺憾。海瑞确实是个工作狂。只要是他任内的事，都会不遗余力地去做，而不惮其细碎烦琐。他任应天巡抚时，依例每月初二、十六两日放告，每次受理案件竟达三四千之多，还不包括平日受理的人命、强盗和贪污案。其他职分事无巨细，也往往躬亲，几无休息之日。这种作风，与当时文恬武嬉的官场风气自然格格不入。谁也不愿意和这样一个古板、认真、不讲情面，只知疯狂工作而不通人情世故的人共事，更不愿意让他真的被树为官僚的楷模，因为谁也做不到他那样。
海瑞认为，既然太祖洪武皇帝是本朝的开国君王，既然君无戏言而太祖又制定了这些法令，既然这些法令又是完全符合圣人理想的，那么，就应该坚决执行，不打折扣，而不能考虑执行起来有无困难。因此，他不但身体力行，对微薄的薪金毫无怨言，而且决心像—个勇敢的斗士，向一切腐败的行为开火。
海瑞实在太天真了。他不知道孔子的主张原本只是一种理想，也不知道本朝开国已经二百年。洪武皇帝一些心血来潮的政令，即便是在当时，有的也只是一纸具文。他当然更不知道，官场的弊病并非只有贪墨，还有危险更大的一件事情———派系斗争。
海瑞其实一开始就卷入了派系斗争，只不过他自己不知道。他既是派系斗争的受害者，也是派系斗争的受益者。他的升官和罢官，除一次是因为得罪皇帝外，其他几次都与派系斗争有关。第一次升官，由兴国知县调升户部主事，是因为严嵩倒台而他反对过严嵩的党羽；第二次升官，是因为徐阶的引荐而徐阶反严，罢官则因张居正主政而他又非张居正一党；第三次复出，则是因为张居正已死并被问罪。但海瑞并不把自己的升迁和朝局的变化联系起来。他坚持认为这是道德上善与恶斗争的结果：自己被重用，是正气得到伸张；自己遭贬黜，则是邪恶占了上风。因此他一如既往地按照自己简单的善恶二元论思想去判断是非决定行止：是善的就支持，是恶的就反对，而无论对方属何派系，也无论他们与自己是有恩还是有仇。
因此，海瑞到应天巡抚任上，就拿徐阶开刀。
徐阶一向是支持海瑞的，他甚至是海瑞的救命恩人。海瑞因痛骂皇帝而被捕下狱，刑部参照儿子诅骂父亲的条例，主张处以绞刑，被徐阶压了下来。嘉靖皇帝自己对于杀不杀海瑞也一直都很犹豫。他一会儿承认海瑞说得也有道理，一会儿又觉得不杀了这个目无君父的畜生简直忍无可忍。徐阶便找了个机会悄悄对嘉靖说：像海瑞这样的草野狂夫，根本就不值得为他动怒。他无非明知皇上圣明，故意来找些岔子，以便沽名钓誉。皇上杀了他，反倒成全了他。不如干脆不加罪，他也捞不着虚名，大家也更会颂扬皇上德被四海。这话虽然不中听，但对海瑞却是小骂大帮忙，非如此不能将其从那暴君的虎口中救出。当时徐阶如果在嘉靖的耳边煽风点火添油加醋，十个海瑞也得粉身碎骨。
海瑞出狱后，徐阶对他信任提拔有加。海瑞这一阶段的青云直上，与徐阶有很大关系。海瑞虽然迂阔，还不至于不识好歹。对于这位于己有救命之恩又有提携之恩的首辅，内心十分地感激。徐阶主政以后，也确实做了不少好事，比如清除了严嵩的党羽，法办坑害人的巫师，减免了四十万两盐税，人民拥护，海瑞也拥护。于是，徐阶在海瑞心中，就成了一个正人君子。当徐阶受到高拱、李芳等人攻击时，海瑞是坚决站在徐阶一边的。此时海瑞对徐阶，可以说是感激、敬重，还有些崇拜。
然而海瑞到应天巡抚任上后，对徐阶的态度就大为改变。因为海瑞一到任，就发现此地最为严重的社会问题，是乡绅豪强大量地占有土地，使耕者无其田，而税收无由出。这些土地，都是土豪劣绅们从农民手里侵夺的，农民当然很想收回。听说连皇帝都不怕的青天大老爷海瑞来了，穷苦无告的农民们便纷纷向海瑞提出控诉，据说仅松江府华亭县(也就是现在的上海)，提出控诉的农民就达万人之多。松江府华亭县正是徐阶的故乡，而徐阶也正是侵占民田最多、最为小户农民痛恨的一个大地主。徐阶一家，是个大家族，几代没有分家，因此成员多达数千。他们一家占有的土地，数字也很吓人，有说二十四万亩的，有说四十万亩的。这么多的土地，当然不可能是他的家人诚实劳动所得，只能来自巧取豪夺。更为严重的是，他们兼并土地以后，还仗势拒交赋税。地方官畏于徐阶的官威，不敢认真催收，只好在其他自耕农身上加重盘剥，以完成征收赋税的任务。无法忍受的农民走投无路，又只好把土地抵押甚至奉献给徐家，以换取保护。如此恶性循环，结果是：天怒人怨，民不聊生。
徐阶一家这种损公（国家)又损人(农民）的利己行为，使清廉、正直的海瑞十分震惊，而徐阶的形象，在他心目中也一落千丈。当然，上述不法行为，主要是徐阶的弟弟和子侄们干的，徐阶也曾有所劝阻，但劝阻并不得力，实际上睁眼闭眼，默许放纵，姑息养奸。海瑞眼里是揉不得沙子的，何况此事与他的原则抵触太大：既不符合他均贫富、一天下的社会理想，又不符合他廉洁奉公、遵纪守法的政治标准，当然不能容忍和姑息。
事情最后的结果是：徐阶的长子、次子和十多个豪奴被判充军，三子被革去官职，数千家奴被遣散十之八九，掠夺的民田至少退还了一半。
对徐家的这一处分究竟是出自何人之手，史家尚有不同说法。有人认为主要是高拱和蔡国熙所为，也有人认为应该归功于海瑞。
海瑞当时内心可能是希望徐阶能主动退田，民田一退，民愤便可平息。那时要帮徐阶一把，也就比较容易说话。可惜徐阶很不自觉，仅仅象征性地退了些许，便想敷衍了事，蒙混过关。海瑞是个认真的人，便去催。徐阶却推诿说这些田地都是儿子的，不好做主。海瑞只好再次去信催促，说最近查阅退田名册，得知阁下的盛德出人意表，可惜退数不多，希望再加清理。过去一些做儿子的，连父亲的错误都可以改正，现在阁老以父亲的身份，来改正儿子的过错，应该无所不可。同时，海瑞又给首辅李春芳写信，说徐阶为小人所蒙蔽，产业之多，令人骇异。如今“民风刁险”，徐阶退田如不过半，只怕对他自己不利。可见海瑞还是想维护徐阶的，只是不肯牺牲原则而已。看来，退田一事，主要功在海瑞；而充军罢官的处分，则多半出自高、蔡二人之手，并且是在海瑞罢官之后。
不管海瑞如何用心良苦，力图在不牺牲原则的前提下保全徐阶，他都等于同徐阶翻了脸。官场中人依照他们以人划线的逻辑，都已派定海瑞是背叛了徐阶，变成了高拱同伙。因此这一回，海瑞已把徐阶集团的人得罪了个干净。
然而高拱集团也不领情。因为海瑞早就得罪了高拱。隆庆元年（公元1567年)时，徐、高二人勾心斗角。高拱的党羽齐康弹劾徐阶，说他的儿子和家人横行乡里为非作歹。这是事实，因此徐阶也就只好请求退休。这时，朝中负责监察的官员都是徐阶的亲信，便群起反攻。
闹得不可开交之际，海瑞说话了。他上了奏疏，说齐康之所以弹劾徐阶，目的是让高拱掌权。海瑞当时声望正隆，如日中天。他的奏疏，当时是对高拱的沉重打击。结果高拱辞职，齐康罢官。高拱东山再起后，当然要报复海瑞。他可不会因海瑞要徐阶退田就放过海瑞的。
海瑞这一回还把张居正也得罪了。张居正原本是徐阶一党。他能够成为阁臣，全因徐阶的引荐。入阁以后，也一直与徐阶站在一边。徐阶退休后，害怕高拱报复，也一直与张居正保持联系，这回当然也要拜托张居正从中斡旋。张居正认为这件事很简单：苏州知府虽然是蔡国熙，可应天巡抚是海瑞呀!徐阶于海瑞有恩，哪有不关照之理？顶多也就再打个招呼就行了。于是张居正给海瑞去了一封信，很滑头地要他兼顾一下“存老之体面，玄翁之美意”。存老就是徐阶。徐阶字存斋，所以称他存老。玄翁就是高拱。高拱字中玄，所以称他玄翁。当时高拱是首辅，张居正是次辅。张居正要帮徐阶，又不想得罪高拱，所以这么说。他没有想到海瑞原则性极强而高拱报复心极重，结果不但徐阶的体面未能保存，自己的面子也扫了地，因此对海瑞极为不满。海瑞罢官后，历次有人保荐海瑞，均因张居正从中作梗，一直没能起复。
张居正不肯让海瑞复职，当然还有一个原因，那就是觉得像海瑞这样什么事情都不肯通融的人，留在官场是个祸害。反正，海瑞现在算是把徐阶、高拱、张居正都得罪了。这三个人，在当时官场中势力极大。得罪了他们三个，也就差不多得罪了整个官场。
海瑞善良、正直、刚毅、果敢，勇于负责，不怕困难，宁折不弯，决不妥协，意志坚定，勇往直前。但正是这些优秀的品格使他四处碰壁，走投无路。
真心拥护海瑞的，大约只有贫苦的农民和百姓吧!但，在海瑞的时代，他们的拥护又顶什么用!