海瑞文集中有关司法的部分，虽然易于被读者忽略，但它的历史价值却至为重要，因为它所阐述的这一庞大帝国的社会背景，较之任何论文都为简捷明白。从这些文件可以看出，地方官纵使具有好心，他也决没有可能对有关人权和产权的诉讼逐一做出公正的判决。因为在农村里，两兄弟隔年轮流使用一个养鱼池，或者水沟上一块用以过路的石板，都可以成为涉讼的内容。如此等等的细节，法律如果以保护人权和产权作为基础，则一次诉讼所需的详尽审查和参考成例，必致使用众多的人力和消耗大量的费用，这不仅为县令一人所不能胜任，也为收入有限的地方政府所不能负担。而立法和司法必须全国统一，又不能允许各个地方政府各行其是。既然如此，本朝的法律就不外是行政的一种工具，而不是被统治者的保障。作为行政长官而兼司法长官的地方官，其注意力也只是集中在使乡民安分守己，对于他们职责范围外没有多大影响的争端则拒不受理。这一类案件照例由族长村长或耆老士绅调解仲裁。为了鼓励并加强这种仲裁的权力，我们帝国的圣经“四书”就为读书人所必须诵习，而其中亘古不变的观念又通过读书人而渗透于不识字的乡民之中，即幼者必须追随长者，女人必须服从男人，没有知识的人必须听命于有教养的人。帝国的政府以古代的理想社会作基础，而依赖文化的传统而生存。这也是洪武皇帝强调复古的原因。
为耆老士绅所不能解决而必须由官方处置的，绝大多数为刑事案件。判决这类案件，政府的态度常常坚定而明确。如果发生人命损失，则尤其不能有丝毫的玩忽，一定要求水落石出。“杀人者死”这一古老的立法原则在当时仍被沿用，过失杀人和谋杀之间区别极微。这种一方面认为人命关天，一方面又主张以眼还眼的原则自然具有相当大的原始性，但对于本朝的政治经济制度来说，其间的互相配合则极为恰当。这样的立法意在避免技术上的复杂，简化案情中的疑难，而在大众之中造成一种清官万能的印象，即在有识见的司法官之前，无不能决断的案件。换言之，这种设施也仍不离以道德代替法律的途径。其方便之处则是一个地方官虽然缺乏法律上的专门训练，但是在幕僚和吏员的协助下仍然可以应付裕如地兼任司法官。司法从属于行政，则政府的统治得以保持一元化而使文官集团的思想行动趋于一致。
这种制度的原始性和简单性，在大众之中造成了很多不幸的后果。官府衙门除了对刑事案件必须作出断然处置外，很少能注意到对日常生活中的种种纠纷维持公允。乡村中的士绅耆老，虽然被赋予了这方面的仲裁权，然而他们更关心的是自己的社会地位和社交活动，对这些琐碎乏味的纠纷大多缺乏热情和耐心。至于开发民智这一类概念，在他们心目中更不占有任何地位。在我们这个古老的礼义之邦里，绝大多数的农民实际上早被列为顽民愚氓，不在文化教养之内，即使在模范官员海瑞的笔下，这些乡民也似乎只是一群动物，既浑浑噩噩，又狠毒狡诈，易于冲动。日常生活中为小事而发生口角已属司空见惯，打架斗殴以致死伤也时有发生。纠纷的一方有时还愤而自杀以倾陷仇家；即或由于病死，家属也总要千方百计归之于被殴打致死。海瑞在做县令的时候，有一次下乡验尸，发现村民竟以颜料涂在死者的身上来冒充血迹。这些残酷的做法，除了泄愤以外，还因为诉讼一旦获胜，死者的家属就可以取得一部分仇家的产业。
刑事案件需要作出断然处置，不论案情多么复杂，判决必须毫不含糊，否则地方官就将被视为无能。于是他们有时只能依靠情理上的推断来代替证据的不足，草菅人命的情形也不乏其例。下面是海瑞亲身经历的一件案子。
有夫妇二人在家中置酒招待一位因事过境的朋友并留他住宿。正好在这个时候，妻子的哥哥即丈夫的姻兄前来索取欠款白银三两。姻兄弟一言不合，遂由口角而致殴斗。姻兄在扭打之中不慎失手，把丈夫推入水塘淹死。人命关天，误杀也必须偿命，所以妻子和住宿的朋友都不敢声张，丈夫的尸体，则由姻兄加系巨石而沉入水底。
一个人突然失踪，当然会引起邻里的注意，事情就不可避免地被揭露。审案的县官以洞悉一切的姿态断定此案乃是因奸而致谋杀。死者的妻子与这位朋友必有奸情，不然，何以偏偏在这位随带仆从、远道而来的客人到达的那天，丈夫突然丧命？又何以兴高采烈地置酒相庆？理由既已如此充分，女人就被判凌迟处死，朋友作为奸夫理应斩决，姻兄参与密谋应被绞死。这件案子送交杭州府复审，审判官的结论中否定了奸情，认为确系殴斗致死，动手的人应按律处绞。本朝政府在法律技术上虽然远不能誉为精密周到，但在精神上却对这类人命案件颇为重视。按照规定，这一案件要由北京的都察院、大理寺作出复核。审判者细核府、县两级审讯记录，发现了根本上的出入，乃再度发交邻近3个县的县令会审。这3位县令维持初审的判决。当这一批人犯送抵本省巡按使的公堂，被判凌迟罪的女人当堂哭诉喊冤。于是案件又送到海瑞那里作第六次的讯问。
海瑞的结论和杭州府审判官的结论完全相同。他的理由是这位妻子和他的丈夫生有二子一女，决不会如此忍心。而这位朋友家境并非富有，并且早已娶妻，假令女人确系谋死亲夫而企图再嫁，也只能成为此人的一名小妾。所以从情理而论，谋杀的动机是不能成立的。再则，既属伤天害理的谋杀，参与密谋的人自然是越少越好，又何必牵扯上这位朋友所携带的仆从？
淳安县县令海瑞如何解释初审时的供辞？答案是：“皆是畏刑捏招，恍惚成狱，殊非情实。”
被迫退休回到原籍闲居，对海瑞来说，是一种难于忍受的痛苦。这位正直的官员，他毕生精神之所寄，在于按照往圣先贤的训示，以全部的精力为国尽忠和为公众服务。现在，他已经面临着事业的终点，就再也没有任何东西足以填补他心灵上的缺陷。
他的故乡在南海之滨，和大陆上一些人文荟萃的城市是两种截然不同的环境。在那些城市里，退职的官员可以寄情山水，以吟咏自娱，并且有诗人墨客时相过从。有的人可以出任书院的山长，以弘扬圣贤之道，造就下一代的人才来继续他的未竟之业。而在这天涯海角的琼州，没有小桥流水、荇藻游鱼的诗情画意，收入眼底的是单调一色的棕榈树和汹涌的海涛，吞噬人畜的鳄鱼是水中的霸主。海峡中时有海盗出没，五指山中的黎人则和汉人经常仇杀。
退隐在荒凉瘴疠之区，如果有一个美好的家庭生活，也许还多少能排遣这空虚和寂寞。然而海瑞没有能在这方面得到任何安慰。他曾经结过三次婚，又有两个小妾。他的第一位夫人在生了两个女儿以后因为和婆婆不和而被休。第二位夫人刚刚结婚一月，也由于同样的原因而逐出家门。第三位夫人则于1569年在极为可疑的情况下死去。第三位夫人和小妾一人先后生过三个儿子，但都不幸夭折。按照传统观念，不孝有三，无后为大，这是海瑞抱恨终天的憾事之一。