1926年7月，北伐战争开始后，胡宗南所在部队集结株洲，担任中路军总预备队。此时，胡宗南已是第1军第1师第2团上校团长，先后率部参加了武昌、南昌等战役，又东出浙江，攻占杭州，进驻上海。
1927年5月，胡宗南升任第1师少将副师长兼第2团团长，成为黄埔学生中跨入少将行列第一人。从1924年考入黄埔军校第一期，胡宗南从军仅仅三年，便成为当时国民革命军中为数不多的高级将领之一。
在此后8月的龙潭战役中，胡宗南奉命以代师长身份率第1师驰援龙潭，于8月末与其他增援部队会攻龙潭，使孙传芳部队全线崩溃，其所部近6万人几乎被全歼。
11月，第1师师长刘峙率部攻打津浦线的蚌埠时，北洋军采用铁甲车掩护作战，使第1师伤亡惨重。
胡宗南此时勇挑重担，率第2团部分精锐在炮火掩护下迂回到铁道边，用铁锹、镐头刨去铁轨，导致敌军铁甲车瘫痪，随即击毁直鲁联军白俄雇佣兵的装甲车队，保证了第1师顺利占领军事要地蚌埠。
此战后，刘峙升为第1军军长，胡宗南升任第1军第22师师长。至此，胡宗南成为黄埔军校生中第二个师长，第一个师长是后来担任过他的副手的范汉杰。不过，范汉杰是粤军出身，入读黄埔军校之前就是上校军衔，在蒋介石的嫡系将领中，胡宗南是升任师长的第一个黄埔学生。