1948年秋天至1949年初，中国人民解放军按照毛泽东的战略部署，连续取得了辽沈、平津、淮海三大战役的辉煌胜利，基本上消灭了国民党军队的主力，胜利解放了长江中下游以北地区。此刻，向江南进军，进一步夺取国民党政府首都南京，进而解放全中国，已经是指日可待的事情了。就在这个时候，国民党反动政府内出现了固守长江、划江而治的呼声，企图继续统治长江以南地区，这些国民党反动势力认为，此时的共产党军队没有空军，也没有海军，他们完全可以凭借长江天险，用空军和海军封锁长江，防止解放军渡过长江去，实行南北划江而治，将中国一分为二。因此，国民党反动势力除了在长江南岸集结残余部队，在长江以北沿岸建立桥头堡之外，又把国民党海军第二舰队司令、国民党海军少将林遵的第二舰队从海上调进了长江，担任从江阴到安庆这一带的江防任务。

林遵是福建省福州人，1905年生于福建福州，是民族英雄林则徐的侄孙。1924年，林遵入烟台海军学校学习；1929年赴英国，先后入格林威治皇家海军学院、朴茨茅斯专科学校学习；1934年毕业回国；1937年，林遵又赴德国学习潜水艇技术。林遵是国民党海军中的少壮派将领，他是一个有着民主思想的爱国军人。在抗日战争结束时，林遵就率领舰队从日本侵略者的手中收复了东沙群岛、西沙群岛、南沙群岛。

对于国民党反动派的腐败统治，国民党军队内的许多有识之士酝酿着弃暗投明的思想。1949年2月25日，国民党海军的大型巡洋舰“重庆号”舰长邓兆祥，率领全舰570多名官军起义，投奔到我党的解放区，把军舰开到了烟台港，毛泽东和朱德亲自致电向他们表示热烈的欢迎和诚挚的祝贺。这件事对林遵的触动非常大，他决心像邓兆祥那样，投奔到共产党领导下的军队中去。于是，林遵秘密派人前往上海和镇江，和中共地下党进行联系，商洽起义的事。

1949年4月21日，中国人民解放军遵照毛泽东发出的向全国进军的命令，开始了全面渡江战役，百万雄师直捣南京。在这种形势下，国民党海军总司令桂永清命令林遵将他率领的第二舰队开赴南京附近的笆斗山江面集结，桂永清还连夜召见林遵，要林遵务必把第二舰队的所有舰艇带到上海，桂永清声称，只要林遵把第二舰队的所有舰艇带到上海，他就保举林遵升任国民党海军中将副总司令。林遵听了桂永清的话，心里暗暗冷笑，桂永清真是白日做梦！

1949年4月23日深夜时分，林遵几人商议，决定在第二天召开各舰长和炮艇队队长会议，研究第二舰队的去向这一重大问题。第二天，在各舰长和炮艇队队长参加的会议上，绝大多数人赞同马上举行起义，投奔到共产党和解放军中。林遵看到起义的条件已经成熟，当即做出了决定：“大家都知道，我们海军的任务应该是保卫国家的独立和人民的安全，我们反对这场屠杀我们同胞的内战，我们应该和人民站在一起。现在，我庄严地宣布，第二舰队全体起义，投奔共产党，成为中国人民解放军的一员！”林遵率领国民党海军第二舰队的1200余名官兵、25艘舰艇举行起义，还给毛泽东主席发去了致敬电。中国人民解放军第三十五军联络部部长张普生拉着林遵的手，极其高兴地说：“我代表中国共产党和第三野战军首长欢迎你们，并祝贺你们起义成功。”国民党反动派获悉此事后，马上派出6架飞机，对着舰艇进行狂轰滥炸，林遵指挥各舰进行反击。就在这天晚上，起义官兵全部离舰上岸，安全转移。5月18日，毛泽东发来复电，称赞这次起义是“在南京江面上的壮举”。

林遵率领的第二舰队拥有20多艘军舰，还有几十艘机动巡防炮艇和登陆炮艇，这是国民党海军4个舰队中战斗力较强的一个海军舰队。林遵率领第二舰队在南京笆斗山江面举行的起义，对国民党反动派是一个无比沉重的打击，而对于中国共产党建立一个新的军种——海军部队来说，却具有十分重大的意义和不可估量的作用。起初，在邓兆祥率领国民党海军的大型巡洋舰“重庆号”全舰570多名官军起义的时候，毛泽东和朱德在致邓兆祥的贺电中指出：“中国人民极需要建设自己强大的国防，除了陆军，还必须建设自己的空军和海军，而你们就将是参加中国人民海军的先锋。”邓兆祥起义时的“重庆号”大型巡洋舰在起义后不久就被蒋介石派飞机炸毁。但参加这次起义的官兵全部安全抵达沈阳。因此，林遵率领的国民党第二舰队的整个起义舰队，是建立中国人民海军的重要基础，林遵、邓兆祥以及他们所率领的所有的起义官兵，成为了参加中国人民海军的先锋。

1949年5月1日，中国人民解放军华东军区海军司令部正式宣布成立，张爱萍出任海军司令员兼政委，林遵任第一副司令员。这标志着中国人民海军的正式诞生。