1937年盧溝橋事變后，中國(guó)展開(kāi)了偉大的全國(guó)抗日民族解放戰(zhàn)爭(zhēng)。8月，我工農(nóng)紅軍改編為八路軍。張南生任八路軍第129師第385旅第769團(tuán)政訓(xùn)處副主任。10月恢復(fù)政治委員編制后，他又到129師第386旅第771團(tuán)任政治委員。之后，張南生與團(tuán)長(zhǎng)徐深吉率領(lǐng)第771團(tuán)先后在長(zhǎng)生口、殺石門、馬山口、七亙村等處，以襲擊、伏擊和阻擊等手段，給從石家莊方向沿正太路進(jìn)犯的日軍主力以嚴(yán)重打擊，狠煞了日軍的囂張氣焰，同時(shí)解救了駐守在娘子關(guān)舊關(guān)而被日軍圍困的國(guó)民黨軍1000多人。不久，張南生和副團(tuán)長(zhǎng)韓東山奉命率第771團(tuán)第1營(yíng)進(jìn)到邢臺(tái)地區(qū)，開(kāi)展游擊戰(zhàn)。
12月20日，日軍遠(yuǎn)山聯(lián)隊(duì)100多人、偽軍300多人，靠漢奸李聘三引路，偷襲彭城，還妄圖一舉摧毀磁縣抗日政府。張南生指揮部隊(duì)在路邊設(shè)伏，痛殲了由彭城急回打援的日軍100多人，并繳槍100余支。
1938年2月，張南生調(diào)任晉冀豫軍區(qū)先遣支隊(duì)政治委員兼冀西地委委員、軍事部長(zhǎng)。此后，他把主要精力用在擴(kuò)大抗日武裝，配合八路軍主力作戰(zhàn)上。僅8個(gè)月時(shí)間，他所在的部隊(duì)由組建時(shí)的600多人發(fā)展到4個(gè)建制團(tuán)4000余人，槍由300余支增至2000余支，成為抗日斗爭(zhēng)的一支生力軍。
同年10月1日，張南生又被調(diào)到晉冀豫軍區(qū)政治部任組織部部長(zhǎng)。他到任后，立即著手組建黨的基層組織，逐級(jí)成立黨支部或黨小組，使上至司令員、政治委員，下到每個(gè)黨員都參加黨小組生活，定期匯報(bào)思想和工作。他還制定了干部管理規(guī)定，對(duì)排以上干部逐個(gè)鑒定講評(píng)。同時(shí)，對(duì)問(wèn)題較多的衛(wèi)生部進(jìn)行整頓，對(duì)連隊(duì)指導(dǎo)員進(jìn)行培訓(xùn)、調(diào)整，還對(duì)職工認(rèn)真進(jìn)行了鋤奸保密和破除迷信的政治教育，使黨員、干部隊(duì)伍的建設(shè)進(jìn)一步得到加強(qiáng)。
1939年3月18日，張南生被調(diào)到八路軍第129師晉冀豫軍區(qū)晉冀豫游擊司令部獨(dú)立支隊(duì)兼第2軍分區(qū)任政治委員。這個(gè)3000余人，主要活動(dòng)在晉中一帶山區(qū)的隊(duì)伍，在反“掃蕩”中，先后對(duì)日偽軍作戰(zhàn)30余次，殲滅日軍2000余人，粉碎了日偽聚殲晉冀豫根據(jù)地八路軍主力的企圖。
1942年1月，張南生任第129師政治部組織部部長(zhǎng)。在任部長(zhǎng)期間，他結(jié)合工作實(shí)踐，先后精心修改形成了《連隊(duì)政治指導(dǎo)員工作暫行條例》、《支部組織與工作暫行條例》、《救亡室工作暫行條例》、《朱德青年隊(duì)與各級(jí)青年組織暫行條例》等4個(gè)基本文件。他的工作得到劉伯承、鄧小平的高度贊揚(yáng)。這幾個(gè)文件在連隊(duì)推廣執(zhí)行后，使129師連隊(duì)政治工作有了依據(jù)，大大加強(qiáng)了黨對(duì)軍隊(duì)的絕對(duì)領(lǐng)導(dǎo)，使廣大干部戰(zhàn)士在殘酷戰(zhàn)爭(zhēng)歲月能保持旺盛的革命斗志。這期間，為了粉碎日偽軍的“蠶食”政策，擴(kuò)大解放區(qū)，張南生根據(jù)劉伯承、鄧小平首長(zhǎng)的指示，從抗大六分校調(diào)出儲(chǔ)備干部，組成精干的武裝工作隊(duì)，深入到日偽軍兵力薄弱的地區(qū)進(jìn)行政治攻勢(shì)。這對(duì)扭轉(zhuǎn)當(dāng)時(shí)根據(jù)地的危險(xiǎn)局面起到了很大作用。
由于張南生工作出色，1943年10月，他被調(diào)任八路軍野戰(zhàn)總部政治部組織部副部長(zhǎng)；1945年8月，調(diào)任晉冀魯豫中央分局組織部副部長(zhǎng)兼晉冀魯豫軍區(qū)組織部部長(zhǎng)。
