中午前後攻佔南洛，黃昏時推進至台兒莊附近。台兒莊南靠運河北岸，四周有長約4公里的磚砌城牆，並建有大小碉堡多座，共有6個城門，城西南角的文昌閣為全城制高點。日軍以猛烈的炮兵火力摧毀了東北城牆，一度突入城內；在第31師不斷反擊下，敗退城外，遂在北郊一帶構築工事，防禦第31師反擊及等待援軍，作再次進攻的準備。

    5日拂曉時，進入郭里集的第52軍第25師第75旅之一部與日軍沂州支隊的先遣中隊互相發現。第52軍部隊立即將碉樓包圍，並調來炮兵進行攻擊。經戰鬥後，該日軍中隊大部被殲，僅十餘人突圍逃至棗莊。棗莊日軍沂州支隊在第25師圍攻其先遣中隊時曾派出數百人進攻郭里集，企圖救援，被第25師擊退。第52軍的第2師從鵓鴿窩向棗莊進攻，但被擊退。湯恩伯率第85軍主力仍在抱犢崮山區按兵不動，僅令派出1個旅與第52軍協同作戰，而該旅僅派出1個團、該團又僅派出幾個排的兵力在棗莊外圍進行了襲擾性攻擊，然後又退回抱犢崮山區中。

    位於棗莊附近的瀨谷啟於24日夜收到了「台兒莊派遣隊」的請援電報。由於棗莊、郭里集方面受到第52軍的攻擊，瀨谷支隊只能抽調約2個步兵中隊的兵力，配屬2門重炮南下增援，支隊主力準備「與郭里集附近之敵進行決戰」，令第10聯隊(約1個半大隊的兵力)從臨城向棗莊以南運動。增援台兒莊派遣隊的2個中隊於黃昏前後到達台兒莊，立即遭到第31師的反擊。「台兒莊派遣隊」隊長因兩日來傷亡過多，而增援的僅2個中隊，仍難完成攻佔台兒莊的任務，26日凌晨又向瀨谷啟發出第二次請援電報：「(1)敵兵力為3個師(城內1、城東1、城西及包圍我的1)，城內及火車站附近有列車炮。(2)派遣隊等待增援，27日開始攻擊。(3)戰死20，戰傷112，突入城內生死不明者15。」瀨谷啟在收到此電不久，又收到第10師團師團長磯谷廉介令其「採取果敢之攻勢」的電令，當即決定由第63聯隊福榮真平大佐率僅有的第3大隊趕赴台兒莊指揮攻堅。

    3月27日，「台兒莊派遣隊」得知第63聯隊已南下增援後，不俟援兵到達，即向台兒莊發起第二次猛烈的攻擊，佔領了城牆的東北角，一部突入城內。第31師的第186團立即組織反擊，雙方展開激烈的巷戰，終將突入的日軍壓迫於城內的大廟附近。但第31師損失也大，4天的激戰，傷亡約2800人。為利於以後的戰鬥，池峰城將全師縮編為3個團7個戰鬥營。這時，第2集團軍的第27師已部署於台兒莊以東的黃林莊一帶，第30師及獨立44旅已部署於台兒莊以西的頓莊閘、萬里閘一帶，不斷與第31師協同，向劉家湖、三里莊等地實施反擊。當晚17時30分，福榮真平率第63聯隊直屬隊及第3大隊到達劉家湖地區。台兒莊形勢更趨嚴峻。

    由於台兒莊戰情緊急，而第20軍團主力仍在棗莊東北山區，並未向棗、嶧日軍實施與其實力相適應的進攻。

    因此第二戰區一面向第2集團軍總司令孫連仲下達限期殲敵的命令，一面向第20軍團湯恩伯下達轉用兵力於台兒莊的命令。給孫連仲的電令是：「查台兒莊為徐州前方要地，又為湯軍團後方聯絡要道，關係重要。據報該處附近敵人約一混成聯隊，我軍兵力數倍於敵，早當解決，乃經幾日戰鬥，台兒莊圍子反被敵沖入一部，殊深詫異。着貴司令負責嚴督所部，限於29日前將該敵肅清，勿得延緩致誤戎機為要。」給湯恩伯的電令是：「該軍團放棄攻擊嶧縣、棗莊之計劃，速以一部監視當面之敵，以主力向南轉進，先殲滅台兒莊之敵。」此時，孫連仲因湯恩伯、關麟徵等曾有過台兒莊一旦受到攻擊，「一日內定可回援」及「堅持三日即算完成任務」等的許諾，因而直接向湯恩伯發出了求援電。大意為：連日受敵猛攻，第31師傷亡慘重，盼以全力攻擊敵之側背，支援台兒莊戰鬥。湯恩伯當即令：

    「第52軍應於本晚星夜由傅山、青山一帶向南下之敵夾擊，並與孫集團軍切取聯繫；第85軍應以一部佔領雲谷山、黃山、馬山、神山一帶，牽制齊村、棗莊、郭里集一帶之敵，主力本晚集結神山、向水泉、豬山一帶待命。」

    3月28日，福榮真平的第63聯隊集中兵力，在1個野炮大隊、2個野戰重炮大隊、1個150毫米榴彈炮小隊以及30餘輛戰車掩護下，與昨日突入台兒莊中的第