3月17日、18日，日軍第2軍第10師團的瀨谷支隊先後攻佔了臨城及滕縣，令步兵第63聯隊的第1大隊(欠1個中隊)繼續沿津浦路南進，向韓莊追擊；為了控制棗莊煤礦，又令第63聯隊的第2大隊向嶧縣追擊。3月19日，日軍第63聯隊的第1、第2大隊分別擊退了剛剛趕至沙河及嶧縣佈防的第20軍團第85軍第89師的第6旅及第4師的第23團，佔領了韓莊、嶧縣。

        由於臨沂方面日軍第5師團坂本支隊進攻受挫、處境困難，第2軍參謀清福大佐到兗州面告第10師團師團長，希望對坂本支隊予以支援。師團長磯谷廉介於20日命令瀨谷支隊：「須確保韓莊至台兒莊運河一線，並警備臨城、嶧縣，同時應以儘可能多的兵力向臨沂方面前進，協助第5師團戰鬥。」瀨谷啟即率第63聯隊進至嶧縣；22日，根據師團長意圖下達了作戰命令，主要內容為：「(1)第63聯隊第1大隊(欠1個中隊)擔任韓莊地區的守備。(2)第63聯隊第2大隊，配屬野炮1個大隊，明日(23日)從嶧縣出發，進佔並確保台兒莊附近運河一線地區。(3)步兵第10聯隊，明日從臨城出發，向臨沂方向前進，策應第5師團之坂本支隊作戰。(4)瀨谷支隊主力集結於嶧縣附近」，觀察情況的發展，再作出下一步的處置。3月22日，瀨谷啟得到航空兵空中偵察的報告：微山湖上中**隊約千餘艘小船正向湖東的夏鎮前進。由於這一新的情況，瀨谷啟改變了決心，支隊主力亦暫不向嶧縣集中，仍留臨城地區，準備應付微山湖方面可能發生的進攻，但第63聯隊第2大隊的任務不變，仍向台兒莊進攻(稱該大隊為「台兒莊派遣隊」)。

        當津浦路北段日軍開始由鄒縣南進時，軍事委員會除將湯恩伯第20軍團轉移於第五戰區外，3月14日又將軍事委員會直接掌握的孫連仲第2集團軍轉隸第五戰區。李宗仁在臨城失守時決心集中兵力將向津浦路南進的日軍圍殲於臨城以南地區。3月19日擬定了作戰命令，21日報請蔣介石審核。其關於津浦路正面作戰的主要內容為：「(1)臨城、嶧縣、韓莊間之敵約步兵三聯隊、騎兵1聯隊、炮兵1聯隊、坦克車五六十輛，自14日以來，在界河、滕縣、南沙河及臨、棗各地與我鄧集團(指第22集團)及王軍(指王仲廉第85軍)激戰，現分部南進，已達韓莊及嶧縣附近，其主力似尚在臨城。(2)戰區以收復魯中廣大地區為目的，以一部在運河之線取攻勢防禦態勢，以主力由嶧縣東南及東北山地，側擊南下之敵，聚殲於臨棗支線與韓莊運河間地區。(3)各部隊之部署及任務如左：甲、湯軍團新配屬31師(欠110師)，應集中主力於嶧縣東側及棗莊西北方焦山頭附近一帶山地，於3月20日(後改為24日)拂曉全線開始攻擊，務先擊破嶧、棗之敵，向臨城、沙溝兩地附近側擊，壓迫敵於微山湖東岸而殲滅之。其一部集結於台兒莊北方地區，準備對嶧縣及其西北地區協力於主力作戰。乙、孫集團軍新配屬110師(欠31團)，應以一部在侯新閘以西運河南岸防禦，待機渡河北進，主力控置於賈汪附近及荊山、茅村鎮間」。蔣介石於當日21時復電，原則批准，但對其部署作了修正，指示：「(1)湯軍團進出運河後，以約兩師對嶧縣方面佯攻，以三師由嶧縣以東梯次迂迴求滕縣以南亘嶧縣間敵之側背攻擊之。(2)張軫師(指第110師)及獨44旅歸孫仿魯(孫連仲)指揮，守備運河。(3)孫仿魯部兩師集結徐州待機。(4)張自忠軍(略)。(5)孫、曹(指孫桐萱、曹福林之第3集團軍)出擊部隊，除以主力向鄒縣、兩下店間地區挺進外，另以兩團由汶上方面向肥城、大汶口挺進游擊，限宥日(26日)到達，准予懸賞。萬一敵有增援隊由濟寧出擊時，除守勢部隊竭力阻止外，其出擊部隊仍須在鐵路線上游擊，不得撤回運河西岸。」

        至3月22日夜，第20軍團的第52軍已將運河南岸防務交第110師，該軍北向蘭陵鎮地區轉進；第85軍已與韓莊、嶧縣之敵脫離接觸，正向青山地區轉移；配屬第20軍團的第31師進至台兒莊地區(第31師於24日仍歸屬第2集團軍)；第110師及獨立第44旅在運河南岸台兒莊至韓莊間防守，第2集團軍的第27師在賈汪地區，總司令部及第30師在徐州附近的茅村地區。

        第五戰區這次攻勢作戰的主力是第20軍團。第31師的任務是以佯攻或固守