8月4日，日军第68、第116师团对衡阳第3师及预10师阵地发起总攻。5日，第58师团(从长沙增援到来)由衡阳西北投入战斗，猛攻第190师阵地。激战至6日拂晓，第190师退守小西门及其以北的城垣。当日夜，日军第58师团一部从城西北角突入城内，西南方面岳屏山、天马山等阵地亦为日军第116师团突破。
7日6时起，日军集中炮火先对守军进行了约2小时的炮火准备，尔后发起冲击。守军阵地大都被毁，官兵伤亡惨重，五桂山、接龙山等阵地先后失守。但第3师及预10师的官兵仍顽强抵抗。为了抵抗日军进攻，所以的马夫、伙夫、文书、轻伤员等等，凡是能扛起枪的都上了前线。
第10军此时尚有数千人，但因弹尽粮绝、伤员众多，而日军大兵压境，全军危险重重。苦守了四十多天，没有了补给，吃饭都成为了成绩，阵地上几处池塘的鱼鸟，都被捕食一空，天空的鸟儿都不敢飞过衡阳上空。地里的野菜早曾经连根都吃光了，油盐也成为了绝迹，很多兵士都是用清水煮菜根过活。
这类环境简直是过活如年，对得救的盼望，由失望而失望，末了由失望而仇恨。8月7日凌晨，方先觉召开紧急集会，评论辩论三个计划:是包围?是苦守?是降服佩服以待机会?其时团以上的军官大多都觉得伤员浩繁，弹药奇缺，曾经无能力包围，除已死殉国外，只有投降一途。
就在世人议论纷纷之际，方先觉觉得部下6000多人有三分之一以上的重伤员，义务其实严重。因而走入阁房偷偷哭了起来，集会无果而散。当天凌晨后半夜，第三师火线的一个团投降了日军。8月8日凌晨，日军用坦克从北门冲入，方先觉看到日军坦克入城，命令开炮轰击。但炮兵批示官张作祥含泪失声说:“报告军长，仅有两发炮弹，已打进来一发，敌军有10余辆坦克，若何阻敌冲入?”
方先觉知大势已去，因而敕令顾问孙鸣玉拟出末了一份电报，信心以死殉国。电报内容为:我军现已弹尽援绝，敌今晨自北门冲入，我已无可堵之兵生等信心以死报国，不负钧座作育之至意，此电为末了之一电，来生再见。学生方先觉、孙鸣玉、周庆祥、容有略，葛先才、饶少伟等敬仰。
就在世人走投无路，不知所措之时，主降的第三师师长周庆祥带着日军联络官来到了军部，日军联络官恭恭敬敬给方预言家敬了一个礼后说:“咱们司令官横山勇请方军长到司令部会谈。”方先觉怒目而视，右手伸向腰间，意欲拔取手枪，而手枪已于昨晚被王副官等人取走，防止其自杀。
此时众将士分为两派，主战者说不能去，主降者则通通抓着方先觉的手喊:“事已至此，军长你带着咱们走一条活路吧!”
方先觉皱了皱眉，末了还是答应前去与横山勇见面。方先觉以有前提降服佩服为前提，避免部下被日军屠杀。横山勇则表示日军会信守许诺，给予降服佩服的兵士以和平军的身份对待。
8月8日，这是苦守衡阳的末了一天，也是最关键的一天，方先觉与横山勇谈好前提后宣布降服佩服。日军进城以后，第10军被改编为“先和军”（取方先觉的“先”字和伪和平军的“和”字），任命方先觉为军长。
此时，不愿投敌的部分官兵“仍在城内进行抵抗”。由第四战区抽调来援的第46军等已进抵距衡阳8公里的二塘。衡阳失守后，第九战区以一部兵力在衡阳以西攻袭日军，主力撤至洪桥一带。
日军经休整、补充后，9月1日开始进攻:第3、第13、第40、第58师团向零陵、全县，第116、第37师团向邵阳进攻。
守军第37军在常宁进行了较顽强的抵抗;第79、第62军在白鹤铺、大营市一带，第74、第100军在渣江、永丰一带，稍事抵抗后再次后撤。
日军于9月5日攻占祁阳，7日攻占零陵，13日占道县，14日不战而占领筑有坚固国防工事的全县。
至此，长衡会战结束。衡阳保卫战，被誉为是东方莫斯科保卫战，第10军与近10倍之日军血战47日，以阵亡7400人，负伤8000余人的代价，杀伤日军5万多人，敌我阵亡比例为5:1，创造了世界军事史上的奇迹。
“先和军”成立时，日军举行了一个仪式，日军记者给方先觉和他的四位师长与日军第68师团长、慕僚长等人照了一张合影。日军离去后，方先觉对他的部下说：“来在屋檐下，谁敢不低头，日本人只照得我们的相，却照不到我们心。”
10月初，第3师师长周庆祥和军参谋长孙鸣玉越窗而逃。方先觉看到他们逃跑后，日军没有加强防范，于是也开始寻找机会逃跑。他先派人与外界取得联系，然后在当地帮会势力、国民党军统特务、国民党地方游击队的共同帮助下，被囚禁达3个月之久的方先觉在伪衡阳县自卫司令王伟能等人的帮助下逃出了日军的势力范围，随后又经第19师派队护送，顺利抵达了重庆。
方先觉逃回重庆，进一步说明，他投降日军后的所作所为是策略性行为，是为了应付日军，因为此事赵继统多次在军事会议上痛骂横山勇。
日本大本营陆军作战部作战课长服部卓四郎在《大东亚战争全史》一书记录道：“这位投降的方先觉军长被俘后态度伪装得很巧妙，后来乘机逃脱，返回了重庆军。”