3月27日，台儿庄北城墙被日军炮火炸塌，小北门亦被摧毁，日军经三天三夜猛攻方冲进庄内，惨烈的巷战随后展开。双方都不断派出增援部队。28日，日军攻入台儿庄西北角，占领西门，切断了第三十一师师部与庄内的联系。到第二天，日军已经完全占领了台儿庄东半部。

小小台儿庄已成为万众瞩目的焦点。29日，林蔚转述蒋介石紧急电令：“台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即存一兵一卒，亦须本牺牲精神努力死拼。如果失守，不特该军官兵死罪，即李长官、白副总长、林次长亦当严办。”

庄内的战斗还在持续。到4月2日，守城将士伤亡已逾十分之七，三分之二的阵地已为日军占领，守军仍据守南关一隅拼死不退，战局胶着。

第五战区下令以第二十军团汤恩伯主力向台儿庄机动击敌侧背，与第二集团军形成内外夹击之势，并以第三集团军进至临城、枣庄以北断敌后路。攻击台儿庄的濑谷支队顿时陷入国民党军四面包围之中。为解濑谷支队之危，日军速以第五师团坂本支队从临沂驰援，随即遭到国民党军第五十二军和第七十五军的阻击和围攻。激战数日，伤亡惨重的坂本支队被迫撤退，日军救援濑谷支队的计划落空。

4月3日，李宗仁下达了第五战区全面反攻的命令。国民党军的内外夹攻使得濑谷支队渐渐不支。经四天激战，日濑谷支队大部被歼，其残部于7日向峄城、枣庄“转进”。

台儿庄的胜利让蒋介石欣喜若狂，他要求李宗仁迅速出击，追击残敌，但李宗仁能指挥的孙连仲等杂牌军损失太大，几乎失去了继续作战的能力。有能力作战的汤恩伯部队又指挥不动，汤恩伯一向的作战原则也是避免攻坚。因为国民党军追击过于缓慢，败退的日军很快就形成新的防御与国民党军形成对峙。据说蒋介石的军事顾问法肯豪森为痛失追击良机气得“狠命揪自己的头发”。

此即为举世闻名的“台儿庄大捷”。日军两个精锐师团的伤亡数字是：第五师团亡1281人，伤5487人；第十师团亡1088人，伤4237人，合计伤亡超过万人。国民党军伤亡超过2万人。

就战役性质而言，台儿庄战役只是徐州会战中一次比较成功的阻击战而已，并不能从根本上改变最后徐州沦陷的颓势。但在此之前，国民党政府几乎动用全部军事力量，先后进行了多次重大战役，基本上都以付出惨重代价和失败而告终，可谓“屡战屡败，屡败屡战”。徐州战役之时，举国上下弥漫着一种失败的悲观情绪。小小台儿庄一战，就让日军付出万余人的伤亡代价，极大地振奋了中国人民的民族精神，让人民从中看到了抗战的光明前途。

战役的胜利也扩大了中国抗战的国际影响，苏、美、英、法等欧美主要国家都给予充分报道和评论。1938年4月9日，伦敦路透社电讯说：“英国军事当局对于中国津浦线之战局极为关注。最初中国军获胜之消息传来，各方面尚不十分相信，但现已证明日军溃败之讯确为事实。英人心理渐渐转变，都认为最后胜利当属于中国。”德国也报道说，“徐州方面中国抵抗力之强殊出人意外”，“最慎重之观察者亦不能不承认日本必遭失败”。各国新闻媒介对台儿庄大捷的报道，不仅让世界增加了对中国抗战的了解和认识，也为后来中国赢得更多外援创造了有利条件。

一次大捷打出了中国军队的威风，也打热了蒋介石的头脑。蒋介石认为，要趁势在徐州地区再打出几个“台儿庄战役”，与日军实施战略决战的时机已经成熟。于是乎，全国各路人马纷纷接到命令奔赴徐州战场，使得徐州附近的中国兵力迅速超过了60万人。

此举正中日军下怀——这正是一举聚歼国民党军主力部队的天赐良机。台儿庄战役使得侵华日军的头脑一下子变得清醒起来。4月3日，日军大本营和陆军参谋本部联合下达“大陆指之106号”，要求华北方面军和华中派遣军迅速调集兵力，围歼徐州一带的国民党军重兵集团。在华日军迅速调整战略部署，以战场现有兵力在正面牵制国民党军主力，而日军主力则向西迂回从侧后包围徐州，试图一举歼灭第五战区国民党军主力。

随之而来的就是一系列调兵遣将。日华北方面军第一一四师团以及淞沪地区的第十六师团等部队奉命奔赴徐州参加会战，连远在满洲的关东军都调来了两个独立混成旅团。当时侵华日军总兵力共计为18个师团，约40多万人，而投入徐州战场的就有8个师团。其中华北方面军五个半师团，华中派遣军两个半师团，总兵力超过了20万人，达到了侵华日军的半数以上。

担任在北面吸引国民党军主力任务的就是刚刚打了败仗的日军第十、第五两个师团。4月16日，板垣征四郎第五师团率先对临沂发起第二次攻击。负责增援的张自忠部被敌军阻击救援未果。19日中午，日军突入临沂城，庞炳勋率残部突围而出，临沂失陷。国民党军鲁南的战略支撑点丢失。

4月10日，日军第十师团自兖州推进到枣庄。18日，日军兵分三路开始进攻。国民党军汤恩伯部、滇军第六十军逐次抵抗。26日，国民党军在台儿庄发动全线反击，在日军的顽强阻击下伤亡惨重。第五师团一部也很快加入战场。为了抵挡日军的攻势，国民党军主力开始逐渐向北线集中，日军将国民党军主力滞留在台儿庄周围的战略目标初步实现。

前线激战正酣。但日军的真实意图是从南北两个方面向徐州西侧迂回包围，用20万人包围歼灭这一带的国民党军主力60万。南面，日第六师团板井支队于4月23日从芜湖出发，连陷巢县、庐州。第一〇一师团佐藤支队4月24日从东台出发，先后占领盐城、阜宁。由于国民党军的主力大部分集中在北部，这两路日军并未遭到顽强阻击而得以长驱直入。

时值淮北大旱，河水干涸，日军的机械化优势得以充分发挥。5月4日，集结在凤阳、蚌埠、怀远一带的日军第三师团、第九师团、第十三师团分别沿北淝河、涡河西岸北进。13日，攻陷蒙城、永城后，向江苏萧县、砀山进攻。在徐州主战场的西南方，日军已经出现在国民党军主力的侧后方。

5月9日，日军第十六师团从济宁出发强渡运河占领郓城。同时，第十四师团从河南濮阳南渡黄河，连陷山东菏泽、曹县后直插河南兰封，一举切断了陇海铁路。15日，南路日军第十六师团快速挺进队与北路日军在陇海路上会师，在阻断郑州方向国民党军增援的同时也堵住了徐州国民党军主力向西的退路。16日，日军第十师团离徐州的距离已经只剩下六公里，日军对徐州的战略包围初步形成。

到5月中旬，日军在徐州西侧布下的一张大网在慢慢张开并逐渐收紧。徐州国民党军突然出现的严重危机，使蒋介石因台儿庄胜利有点发热的大脑，霎时间又冷静下来。他突然意识到，日军的目的就是要围歼徐州国民党军主力50个精锐师。日军的战略企图既然已经暴露，再死守徐州，不但不现实，也失去了战略意义。何应钦、白崇禧、陈诚等人亦主张趁日军包围圈还没收紧之时，尽快突围。这次蒋介石没有丝毫犹豫，迅疾向第五战区下达放弃徐州寻机突围的撤退命令。

尽管南北两路来势凶猛，但日军毕竟兵力有限，在徐州附近形成的包围圈四处都是缝隙和漏洞。徐州战场的撤退与上海和南京的撤退形成了鲜明的对比，在第五战区得力有效的组织下，从5月16日开始，中国军队且战且退，阵形不乱，按部就班地向西、向南撤退。日军阻一处，中国军队冲一处，各路人马相继冲出重围，陆续向河南南部及湖北北部集结。

李宗仁与长官部官兵700余人，越过敌之包围圈移驻潢川。留守徐州城的刘汝明部佯作死守之状，见各路大军撤尽，立即放弃徐州，巧妙地跳出日军的包围圈，安全转移，上演了一出现代版的空城计。

5月19日，徐州空城被日军占领。

第五战区国民党军主力撤走之后，徐州以西的豫东地区还有国民党军20万大军，而孤军深入此地的土肥原贤二第十四师团只有2万多人。国民党20万大军基本上都是战斗力很强的“中央军”。蒋介石试图在豫东地区再打出一个台儿庄大捷，下令薛岳带领孙桐萱、黄杰、李汉魂、桂永清、俞济时、宋希濂等部12个师围攻日第十四师团。一场围绕兰封展开的小范围围歼战随后打响。战斗最危急的时候，日军被迫龟缩在一个小寨子——三义寨里负隅顽抗，连土肥原贤二的军刀都被国民党军缴获。但由于组织协调不力，加上几路日援军很快逼近，这一战役，最终仍以国民党军败退收场。规模并不大的“兰封会战”，被蒋介石自称为“战史上之千古笑柄”。恼羞成怒的蒋介石为此枪毙了作战不力的“中央军”第八十八师师长龙慕韩。

随后，日第五师团、第十四师团、第十六师团、一一四师团开始对西撤国民党军实施猛烈追击，6月6日，河南首府开封陷落。日军前锋距离平汉、陇海南北两大干线的交会点郑州只剩下70公里的路程。

为阻止日军快速推进，中国统帅部无奈做出决定，于6月9日下令在郑州花园口附近炸开黄河大堤。滚滚黄河之水咆哮而出，开始肆虐豫、皖、苏三省，形成了50余万平方公里的黄泛区，将南北两路日军彻底隔绝。进攻跑得最快的日第十四、第十六两个师团部分部队也被包围其中。第十四师团一部被洪水围困于中牟县城。位于泛滥区中心的日军第十六师团一部来不及撤走的车辆、火炮、战车等重武器均沉于水底，大批士兵被冲走或淹死。为了解救被洪水围困、补给断绝的部队，日军被迫实施了空投，随后也只能派出舟艇和工兵部队将被围日军救走。泛滥区以东的日军只能望洋兴叹，被迫向黄泛区以东地区撤退。

徐州会战至此结束。中国军队投入兵力60万人，伤亡超过10万人。日军投入兵力约24万人，伤亡近3万人。

徐州会战尽管仍以国民党军的失败告终，但中国军队在会战中的表现已经可圈可点，甚至能在局部打出漂亮的短传配合。更重要的是，国民党军坚守徐州地区长达5个月之久，充分实现了“以空间换时间”的战略目的，为中国军队在武汉的集结、布防赢得了宝贵的时间。

日军在兵力不足的情况下仓促发起的徐州会战照样没有实现“导致中国丧失战斗意志”的战略目标。由于当时日本国内新的扩军计划尚未完成，根本无力从国内增派军队，只好拆东墙补西墙，从本来就已经兵力不足的侵华日军中调集部队。此举不但使参加徐州会战的兵力不足，无法完成围歼徐州60万中国军队的任务，还造成留置后方守住所占之地的兵力更加捉襟见肘。第十四师团、第十六师团的参战导致原来的防地被国民党军光复。在晋南的日第二十师团甚至被国民党军昼夜围攻。当时日军无任何兵力可供调动增援，无奈只有采取空投进行补给，补给不足的第二十师团不得不以抢掠民间粮食以及野菜、树叶、青草充饥。陷入困境的绝不仅仅是第二十师团，被日军占领的华北所有地区都呈现不稳定态势。徐州会战之后，日军战略主导能力开始逐渐减弱，速战速决的战略目标已成南柯一梦。

1938年6月9日，国民党政府下令在武汉的政府各机关、中央党部、各大学及由沪迁来的工厂等向重庆、昆明转移，尽快完成以川、滇、贵为西南大后方的战略部署，贯彻执行“以空间换取时间”的战略方针。

同日，蒋介石再次发表声明，宣称“当前战局的重点不在于一个城市、一个地区的防御成功与否，今后的战争将在山岳地带进行”，要“始终保持我军之战斗力，尽量消耗敌人的力量，使我军达到持久抗战之目的”。