随着解放战争的胜利，洪沛霖随华东第三野战军进驻南京，接管整个南京城的政权建设和治安保卫工作。1954年，洪沛霖出任江苏省公安厅副厅长，兼任江苏省公安学校校长。1955年，洪沛霖任省公安厅厅长，在以他为核心的公安干部领导下，省公安厅抓公安教育大胆尝试，奠定基础，迈出了一步步坚实的脚印。

然而时代总是给伟人以锤炼，洪沛霖校长于文革期间被江青等人迫害，关进监牢长达 6 年，面对威逼利诱，他大声呵斥：“你们提供的情况在我看来全无事实，要我诬陷他人绝无可能!”。

当以江青为首的四人帮垮台后，洪沛霖被邓小平亲点作为审判江青的主审，而后重新走上了省公安厅的领导岗位。面对当时全省公安队伍年龄，文化，学历的缺陷，他提出公安机关必须抓好两件事，一是公安队伍建设，二是公安教育培训，他还要求各级公安机关为全省公安教育贡献力量，于他而言，公安教育，凝聚着一生执着的追求，肩负使命，尽显一代师者的情怀。