士兵委员会，是毛泽东同旧军队传统实行决裂的又一项大胆创造，是红军民主主义制度化的具体运作形式。
反动统治阶级的军队，没有民主制度，存在着尖锐的阶级矛盾，官兵对立是普遍的现象。工农革命军的主体是从国民党军队过来的，自然也带来了旧军队的一些不良作风。三湾改编前，毛泽东亲眼目睹了队伍里官兵不平等的种种表现：官兵待遇不平等，薪饷、穿衣自不用说，就连吃也是分灶做的；军官管教士兵，开口就是训斥，容不得士兵半点申辩；士兵犯了错，军官甚至班长，动辄就是鞭子、拳脚相加……毛泽东实在看不下去。他曾在湘军里当过几个月的兵，对士兵们的苦楚有切身的感受。
毛泽东不希望自己领导的工农革命军仍然保留旧军队中那些官兵不平等的恶习，他要彻底地改变它。因此，三湾改编时，毛泽东决定确立新型的官兵关系，在工农革命军内部实行民主制度改革，提出“官长不打士兵，官兵待遇平等，士兵有开会说话的自由，废除繁琐的礼节，经济公开”等原则，并在连队设立士兵委员会。
罗荣桓在《秋收起义与我军初创时期》中是这样忆及的：为了扫除军队中的一切不良制度和习气，毛泽东同志果断地采取了许多革命的措施。例如，士兵委员会就是这时候产生的。为了反对旧军队的一套带兵方法，实现政治上的官兵平等，建立新式的带兵方法，这就需要实行民主政策。士兵委员会就是实现民主的一个组织形式。那时，士兵委员会有很大的权力，军官要受士兵委员会的监督，做错了事，要受士兵委员会的批评，甚至制裁。表面看来，这样做似乎是会鼓励极端民主化和平均主义的思想，但当时的主要问题是必须坚决反掉旧军队的一套带兵方法，奠定新型的官兵关系——阶级的团结。部队的实际情况是民主不够，而不是什么极端民主化和平均主义的问题。因此，只有这样做，才能更彻底更有效地肃清军阀残余，有了民主才能提高群众觉悟，才能建立巩固的集中。秋收起义之前，军官每顿饭都是四菜一汤，和士兵的待遇悬殊很大。三湾改编以后，因为斗争很艰苦，那时最需要的是官兵艰苦与共，因而待遇改成完全一致，干部和士兵吃一样的饭菜，穿一样的衣服，这是一个了不起的改革。它更加密切了官兵关系，对干部的考验和改造也起了积极的作用。
要改变旧军队中长期形成的“规矩”，谈何容易！
“军官违法，由士兵委员会处罚，那成何体统！”一些想维持自己“尊严”的军官反对。
“官兵起居相同，待遇一样，那要官作甚？自古官兵有别嘛！”一些想保住自己“特权”的军官不满。
毛泽东决心已定：“咱们工农革命军，不是过去的旧军队！官兵平等，有盐同咸，无盐同淡，有什么不好，这就叫爱兵如子嘛。”
毛泽东的意见得到前委多数同志的支持，也得到革命军大多数官兵的拥护。
三湾改编首先在连队建立士兵委员会，接着，毛泽东在总结经验的基础上，又逐步在营、团、军各级都建立了士兵委员会的组织。贫苦工农出身的优秀战士熊寿祺、刘炎、郑重、胡本田等就是工农革命军首届士兵委员会委员。井冈山会师后，陈毅被推举担任了红四军军级士兵委员会主任。
陈毅在《关于朱毛军的历史及状况的报告》中，对红四军士兵委员会的组成及作用作了具体的介绍：“四军士兵的组织，在军团营连均设士兵委员会，官兵同时为（即参加）士兵委员会，全连士兵选择5至7人或9人为连士兵委执委，推主席1人；以全营人数按每5人举1人代表组成全营士兵代表会，推举11人至13人组织营士执委，推举1人为主席；按全团人数每10人举代表1人组织全团代表会，推举17至19人组织全团士委会，推举1人为主席；全军按30人或50人举1代表组织全军代表会，选举19人至21人或23人组织军士执委，选1人为主席；军士执委选5至7人为常委，团举5至7人为常委，营举3人或5人为常委，连无常委机关，军团常委均设机关于政治部内日常办公，营常委不设机关。各级士委的任务规定如下：（1）参加军队管理。（2）维持红军纪律。（3）监督军队的经济。（4）做群众运动。（5）做士兵政治教育。”
在井冈山艰苦斗争的岁月里，各级士兵委员会发挥了重大作用。它参与军队管理，代表士兵利益，特别是直接参与军队的经济管理，做到经济公开，从而让广大士兵深切地感受到红四军与旧军队的不同。
在井冈山根据地广为流传的“当兵就要当红军，处处工农来欢迎，官长士兵一个样，没有人来压迫人”这首歌谣，就是对当时军民一致、官兵一致的新型关系的生动反映。
在那“红米饭，南瓜汤，金丝被，盖身上”的环境中，毛泽东、朱德为首的红军最高领导人与战士们过的是同样艰苦的生活，从不搞特殊化。有一次，老表们送了一些鱼和蛋给毛泽东补身体。炊事班和士兵委员会一商量，觉得老表们的行动，也表达了自己的心意，就特意给毛泽东做成四菜一汤。毛泽东立即召集各连党代表开会，说明干部要带头执行军内的民主主义，要与战士同甘共苦，决不能搞特殊化。随后，他就带着党代表们端着这四菜一汤，逐桌分到战士们的饭桌上。分完后，他带着党代表们领了一盆苦瓜，津津有味地吃了起来。战士们看到这一情景，感动得热泪盈眶，战士陈三崽走上前去激动地说：“毛委员，苦瓜味道苦，你不吃鱼不吃蛋，吃些南瓜总行吧。”毛泽东听了哈哈大笑，风趣地说：“先吃苦瓜，后吃南瓜，这叫先苦后甜嘛。”接着又说：“现在条件艰苦，物资困难，干部吃苦瓜，让士兵吃南瓜，这是很对的。”
听了毛委员的一席话，指战员们受到了很大教育，一些原来不太习惯受士兵委员会约束的干部，也变得积极支持它的工作了。这样一来，士兵委员会的权威更大了，它的主任委员们工作起来更加放手、大胆。
曾志回忆说：“红军连队建立士兵委员会，实行民主制度。有一次，一位部队领导同志在原郴州部队的士兵委员会上讲话，要士兵委员会也管纪律，他说：‘士兵违犯纪律要打屁股，长官违犯纪律也要打屁股。官兵一律平等么！’这种说法，现在看来显然是不太合适的，但当时是按照这个精神办的。士兵委员会管理的事很多：一要管部队纪律；二要管宣传教育；三要做群众工作；四要管红军战士生活。这些工作，范围广，任务重。有些事情士兵委员会办不了，管不好，有些事情还无形中产生了绝对平均主义。后来，红军部队以生动的事实，在战士中进行批判绝对平均主义的教育，才使某些部队和红军战士中的绝对平均主义得以克服和纠正过来。有一次，朱总司令向红军战士们提出这样一个问题，让大家讨论，战场上同时有两个人负伤，伤势都差不多，一个是连长，一个是战士，当时只有一副担架，请大家想一想，究竟应该先抬哪一位？结果战士们差不多都说‘应该先抬走连长’，并说出了种种理由。后来明确了士兵委员会只管红军战士生活。……回忆起井冈山学习到毛主席的建军路线和方针，联系到当时见到的井冈山的部队纪律严明，处处表现出军民一家，军政一体，官兵一致的动人景象，才开始体会到，为什么红军队伍能够有那么强的战斗力，能够有那么高的政治觉悟，我想一个非常重要原因也就是在这里。”
以建立士兵委员会为主要内容的军队内部民主改革，真正使红军做到了官兵平等、同甘共苦。
然而，这种改革并不容易。
在改造王佐部队的时候，党代表何长工提出要在部队里废除打骂制度，一些已经习惯于用棍棒来管理部队的干部立即出来反对，他们还是我行我素。
一天，一个干部又粗暴地打骂了士兵。
何长工直接去找王佐：“为什么有的干部还在打士兵？”
王佐不以为然地说：“鸟是养出来的，兵是打出来的。不打不骂怎么成？”
何长工严肃地指出：“如果这样，那么工农革命军实行官兵平等，长官不打士兵，打起仗来，大家都很勇敢，这又如何解释？”
王佐听了笑笑说：“我可以不打骂人，可是下边的干部打骂惯了，不打手发痒，怎么管得住？”
何长工就给他讲了毛泽东在三湾改编时所倡导的官兵平等的原则，并要他下命令不准打人。
王佐沉思了一会，然后一拍大腿说：“毛委员说的，我服！”说罢，就对勤务兵下令：“就说是我说的，不准打人了。以后哪个再打人，就揍他。”
就这样，王佐的部队中干部打骂士兵的情况越来越少。
通过教育，红军中的政治民主逐步实现，尤其是部队里原来司空见惯的打人、骂人、禁闭、罚跑、罚晒太阳等现象，逐步减少。曾经有个大队长，军阀习气比较严重，打士兵打得比较厉害，毛泽东毫不留情地批评说：“红四军里有个铁匠，把红军战士当铁打。”经过教育，部队里的官兵关系逐渐融洽，当时连里的主要干部都有马，但谁都不骑，打仗时用来驮伤兵，平时用来驮病号。
军队里的经济民主也实行得较好。当时，连里由班长或副班长为正采买，由一个战士为副采买。每个月士兵委员会还要算帐，分伙食尾子。分了伙食尾子，有的买烟抽，有的买点麻打草鞋。这些办法士兵很满意。
经过这种经常的深刻的内部和外部的斗争，部队真正达到了“军民一致，官兵一致”，政治情绪高涨，极少有开小差的事例。罗荣桓回忆说：“记得有这样一个故事：毛泽东同志曾带领三十一团的三营，下山去接应二十八团由湘南返回井冈山。夜间通过桂东地区，遭到敌人袭击，部队当时被打散了，大家很着急。但第二天清晨一集合，只少了一个担架兵。谁知当部队回到井冈山时，这个担架兵早已回来了。”
士兵委员会的设置与健全，在井冈山斗争时期，是区别红军与白军的重要标志。它对军队内部实现政治上的团结，军事技术与战术的提高，干部的改造与锻炼，都产生了积极的影响。
正如毛泽东在《井冈山的斗争》和《井冈山前委对中央的报告》中所评述的：“红军的物质生活如此菲薄，战斗如此频繁，仍能维持不敝，除党的作用外，就是靠实行军队的民主主义。”“所以在这样苦的生活中，这样激烈的斗争中，毫无怨言，连、营、团都有了士委会，其职务是监督官长，代表士兵利益，参加军队管理，对内（军队内）做政治训练，对外做民众运动，士兵委员会健全了，可以不要政治部，工作人员都可以纳入士兵委员会机关里工作，比另设政治部好。”
中央军委在《军事通讯》刊发陈毅《关于朱毛红军的历史及其状况的报告》后评论道：“这里面有很多宝贵的经验值得我们每个同志注意，如他们的编制……他们处置军中供给开支的原则（官兵经济平等，开支绝对公开）……都是在中国‘别开生面’，在过去所没有看过听过的。”