3月下旬，国民党军对山东解放区的重点进攻正式开始。先后被调往山东战场的兵力达到24个整编师(军)、60个旅，45万人，并以其精锐主力整编第74师、第5军、整编第11师为骨干，分别编成三个机动兵团，担任主要突击任务。
其中第1兵团8个整编师共20个旅20万人，由司令官汤恩伯指挥，是进攻的主要集团，该兵团企图首先占领沂水、坦埠一线，尔后与第2、第3兵团通力向北、向东进攻，迫使华东野战军主力决战或北援黄河。
另外，第2绥靖区5个军部署在胶济铁路(青岛一济南)和津浦铁路(天津一浦口)泰安以北地区，策应3个兵团作战;第3绥靖区2个整编师在峄县、枣庄为2线部队。
4月上旬，国民党军以一部兵力打通了津浦铁路徐州至济南段和临沂至兖州的公路，占领鲁南解放区后，三个兵团分别由临沂、泰安、泗水向鲁中山区发起全线进攻，企图寻找华东野战军主力决战。
敌军总兵力达13个整编师(军)、34个旅，25万余人，相当集中，为了避免在进攻中被华野分割歼灭，采取了“密集靠拢、加强维系、稳扎稳打，逐步推进”的方针。
4月初，华东野战军自焦济路南下，隐蔽配置于与国民党军方阵相对应的50 公里地带，相距仅10公里左右。6日，国民党军派飞机对驻坦埠附近的华东野战军指挥部进行轰炸 ，19日发起了全面进攻。
华东野战军展开了阻击战。华东野战军在山东的兵力有9个步兵纵队和一个特种兵纵队，约27万余人，与国民党军兵力相比居于劣势。
从3月下旬至5月上旬一个多月的时间里，华东野战军主动出击，与敌进行了几次接触和作战，但除了4月下旬在泰安歼灭了敌第72师主力外，其余大量歼敌的计划均未实现。
华东野战军司令员兼政治委员陈毅、副司令员粟裕于5月上旬调整部署，将主力东移，后撤一步;并以准备南下华中的第2、第7纵队隐蔽集结于莒县地区，以进入鲁南的第6纵队隐蔽在平邑附近地区，待机配合主力作战。
华野主力东移后， 使蒋介石、陈诚产生了错误判断，误认为华野“攻势疲惫”，可能继续向东北方向的淄川、博山方向撤退。遂于5月10日命令各部兼程前进，跟踪追剿，以实现在鲁中山区与华野主力决战之目的。
顾祝同转令3个兵团放胆向博山、沂水一线疾进。右翼第1兵团改变原定的稳扎稳打战法，不待第2、第3兵团统行动，即以整编第74师为骨干，在整编第25、第83师的配合下，于5月11日自垛庄、桃墟地区进攻坦埠，企图乘隙占领沂水至蒙阴公路;另以第7军及整编第48、第65师在左右两侧担任掩护。
5月11日晚，华东野战军收到了中央密电，立即呈送粟裕。 陈粟二人连夜召开了就近第1、第4、第8、第9纵队及特种兵纵队领导人作战会议，12 日晨下达了以第1、第4、第6、第8、第9纵队担任割裂围歼整74师的任务，以第2、第3、第7、第10纵队担任阻援任务的命令，并决定战役于13黄昏发起。
5月11至13日，整编第74师在整编第83，第25师掩护下自垛庄北进至黄鹿寨、旧寨、野猪旺等地，被第9纵队击退，随后占领杨家寨、佛山角、马牧池等地，准备14日攻占坦埠（这就是通过赵继统手送出的所谓‘诱敌’计划，用王牌部队整编74师冒进为饵，实施‘中心开花’战术）。
5月13日上午，敌3个师又发起攻击，至下午4时惧歼后退至黄斗顶山、重山、马牧池。当晚，华东野战军第1、第8纵队以一部兵力在整编第74师正面实旋阻击，主力从其两翼寻隙向纵深楔进。
第1纵队第3师攻占曹庄及其以北高地，逼近蒙阴，构成对外正面阻击整编第65师;纵队主力攻占黄斗顶山、尧山、天马山、界牌等要点，割断了整编第74师与整编第25师的联系，并歼整编第25师一部，该师大部缩回桃墟。
第8纵队主力攻占桃花山、磊石山、鼻子山等要点，割断了整编第74师与整编第83师的联系;一部占领盂良崮东南的横山老猫窝。同时，第4、第9纵队从正面发起攻击，占领黄鹿寨、佛山及马牧池、隋家店一线，扼制了整编第74师的进攻。
第6纵队由铜石地区急速北上，于14日晨抵达垛庄西南观上、白埠地区。13日晚，整编第74师前沿据点遭到攻击时，张灵甫电告委座“计划实施顺利，敌人已上钩。”
5月14日10时，74师向盂良崮，垛庄方向撤退，并组织一部兵力进行反击。华东野战军发现整编第74师南撤，立即乘胜猛攻。担任正面攻击的第4、第9纵队经彻夜攻击，进占唐家峪子、赵家城子一线;第6纵队在第1纵队一部协同下，于15日拂晓攻占垛庄，截断了整编第74师的退路;第8纵队攻占万泉山，同第1、第6纵队打通了联系，在芦山、孟良崮地区形成了对整编第74帅的四面包围。
整编第74师这么快被包围，蒋介石、顾祝同虽感吃惊，但认为74师所处地形有利，已控制制高点，必能坚守，按照计划左右邻加速增援，可造成与华东野战军主力决战的机会。
因此，除令整编第74师固守待援，牵制华东野战军主力外，严令新泰的整编第11师、蒙阴的整编第65师、桃墟的整编第25师、青鸵寺的整编第83师以及河阳、汤头的第7军、整编第48师等部迅速向整编第74师靠拢;并调第5军自莱芜南下，整编第20师自大汶口向蒙阴前进，企图用10个整编师的兵力在蒙阴、青驼寺地区歼灭华东野战军主力。
他在给徐州绥靖公署主任顾祝同的电报中谈到“灵甫终于给我国军寻找了一个歼灭共军陈粟部于孟良崮的大好机会。因为我74师战斗力强、装备精良，且处于有利地形；再之，有恩伯、敬久、欧震三兄兵团大军云集，正是我国军同陈粟决战的好机会，现命令74师灵甫部坚守阵地、吸引共军主力，再调10个师之兵力增援74师，以图里应外合，中心开花，夹击共军，决战一场，歼陈粟大部或一部之兵力，一举改变华东战局···”