种谔夺取米脂后，想继续胜利进军，但是馈饷发生了问题。原来负责粮饷的李稷苛暴异常，他抓民夫来运粮，却一味打骂。不少民夫受不了虐待，都四散逃跑了。他当然不能容忍，于是命人四处追捕。凡被追回来的人，都被他把其足筋砍断，放到深山幽谷里，任由其慢慢死亡。受到这种刑罚的，累计好几千人。由于李稷的苛暴，上行下效，他手下的兵丁小吏随便砍杀民夫而不请示。如此一来，逃跑的民夫更多了。粮饷无人搬运，使得前线士卒饿死不少，种谔也因此进退不得。
种谔想杀了李稷，以一儆百。正巧李稷派他的心腹吕大钧来请示“安定取粮”的事。种谔一听，怒从心中起，说道：“我是受命带兵打仗的，怎么知道粮道？粮草供应不上，误了军务，这是死罪。你叫李稷来，找我的剑说话！”吕大钧却说道：“朝廷出师，去塞不远，你就要杀了皇上亲命的馈饷转运使，难道你要貌视君父吗？”种谔顿时语塞，万般无奈，只好对吕大钧说道：“你想以此报答李稷，我就成全了你吧。”
吕大钧不禁不怒，反讥笑说道：“你以为这些话就能吓倒我吗？我奉命前来向你请示。你如果把我杀了，我自然毫无怨言，惟恐你会因此而受过。”种谔见吕大钧刚直不阿，只好同意吕大钧的意见，这才允许李稷免受处置。
种谔还想继续进攻夏州，因此驻军索家坪。却忽然听说后面辎重，被夏军截住，兵士顿哗噪起来。大校刘归仁，竟然率先溃逃，于是众军士跟他而逃。刚好此时大雪漫天，士卒们没有吃的，沿途饿死的人，不可胜计。出兵时有九万三千人，回军时只剩三万人。
王中正从宥州行到奈王井，粮食也吃问，六万人饿死了二万，也退回了庆州。李宪领兵东上，立营在天都山下，焚去西夏的南牟内殿。夏将仁多唆丁率众来援，被李宪驱军夜袭，杀败夏兵，擒住了百人，进到了葫芦河。他听说各路兵已经退归，不敢再进，当即班师。
再说刘昌祚遂率军攻占鸣沙城之后，掘其窖粟，以充军饷，并决定直捣灵州。刘昌祚修书一封给高遵裕道：“此去灵州不三百里。我军先出，直捣其城。现在带十日粮，疾驰三日可至，军无事矣。望大帅命士众护好粮饷，据鸣沙以待，防备夏军抄绝后路。”谁知高遵裕接信后，唯恐刘昌祚抢了头功，便命令全军火速跟踪，全力向灵州进发，把“据鸣沙以待”的告诫置之脑后。
灵州城内西夏守军放下吊桥正在接溃兵入城，刘昌祚也已达城下，眼看就要攻入城内。就在这节骨眼上，忽见一骑兵手执令旗，飞到刘昌祚马前高喊道：“泾原兵不得入城！”刘昌祚不敢抗命，只得下令：“按甲勿攻”，失去了最好的战机。高遵裕不让刘昌祚攻城的理由是“已遣使招安”，实际上是害怕刘昌祚独占头功。
等高遵裕于十一
月一日也到达灵州城下，西夏梁氏已按预定计划派梁大王将兵驻在黄河口岸，对宋军成阻截之势，对灵州成接援之态。高遵裕在距刘昌祚的部队三十里处扎下营寨，当夜即被夏军偷袭。吓得他即令刘昌祚援救。刘昌祚得讯后“急驰应援”，天快亮的时候，夏军退走。
吓破了胆的高遵裕反而责怪刘昌祚应援缓慢，“有杀刘昌祚之意”。等见到刘昌祚的面，高遵裕问刘昌祚道：“下城如何？”刘昌祚说道：“我正想乘胜攻城，因为幕府在后未敢。前日磨齐隘之战，夏国兵众退保东关，若乘锐破之，城必自下。”高遵裕听不进去，便夸海口说道：“我令军士在夜晚每人背一囊土，垒在城下，天明就能攻进灵州城去！”
这高遵裕是赵顼母亲高太后的亲戚，赵顼因为高遵裕在西部守边多年，数立战功，于是命他担任一路军马主帅。高太后闻知，对赵顼说道：“我伯父高遵裕报国忠心，不会落后于别人。但是他有个致命的弱点，就是气度太小，虚荣心强，不容别人之功高于他。那么攻城守地他总想把功劳归己，不许他将所得。这短处易致失败，一旦失败，后果不堪设想，所以他只能作副将，不能命他作主帅。”赵顼却没有听母亲的话，还是命高遵裕为一路兵马主帅。
当时高遵裕想杀刘昌祚，却没依据，于是又想把他的军权交给泾原军副帅姚麟掌管。姚麟不敢接受说道：“刘昌祚在泾兵中威信很高，夺其兵权，恐泾兵不服。”高遵裕夺刘昌祚兵权未成，只得命令环庆兵荷囊背土垒在灵州城下。但是守城夏兵用乱箭狂射，许多宋兵丧命，高遵裕只得作罢。
由于高遵裕不听刘昌祚的建议，不派兵据守鸣沙，结果，当护运粮草的鲁福、彭孙等行至鸣沙时，被埋伏在牛首山上的夏兵截住。鲁、彭经过三战，终因寡不敌众，被夏军杀得大败，粮草也被夏军抢走了。围困灵州城的宋军，因得不到粮草救济，饥饿难耐。加上时令已进冬日，寒冷难当，宋军意志已散，大多数人都有思乡罢战回归之意。
刘昌祚军因西征以来，一直打前锋，缴获西夏粮草兵马甚多，所以，军士倘有饭吃。高遵裕即令泾原兵将所得粮草、兵马全交给他所领导的环庆兵，这就引起泾原兵的极大不满和愤慨。灵州城外，桑果榆柳，成片成林。但是环庆兵为了取暖做饭，把这些树木几乎全部砍光了，激起了百姓的忿恨。
高遵裕、刘昌祚围困灵州城十八天，却仍旧不能破城，早已粮饷不继。又遇到天降大雪，兵卒饥寒交迫，斗志渐渐衰颓，可谓进退维艰。西夏粱太后见时机已到，便下令决开黄河七级灌渠，水淹高遵裕的围城大军。
那天，夜黑风高，宋军正在做梦。突然洪水冲进军营，宋军死残不计其数。高遵裕被军士的喊叫声惊醒，吓得在帐中哆嗦，忽然一人挑开帐子冲了进来，说道：“高将
军请快上马！”便被那人抱上了马背。原来，这人正是姚麟。就在高遵裕急着逃命的时候，刘昌祚骑马立于水中，沉着指挥泾兵撤退。
刘昌祚部下因驻扎在灵州城下，这儿地势较高，七级渠水冲不上来，因而没有受水淹之苦，但是军心已被洪水动摇。这时，守城的夏军又冲了出来，使泾兵处于腹背受敌的危险境地。刘昌祚便命令部将郭成率军涉水，尾随环庆兵向牛首山撤退。
他独自一人驱马跃入水中一块高地上，弯弓搭箭，从容不迫地射杀尾追的夏兵。刘昌祚的箭法极佳，名震西夏。因为他射箭从无虚发，西夏认为他是“箭神”，往往把他射出的箭捡回去，当作“神”供奉起来。数千夏兵被他一人阻挡在洪水的边缘，不敢前进。看着泾兵已退得差不多了，刘昌祚才大叫一声，扬鞭驱马，追上前军，上牛首山去了！可怜宋兵十余万，冻溺而死者，不计其数，夺路逃生者仅有一万三干多人。
这次大规模的伐夏之战，除李宪所部之外，其他各路大军都被困于灵州附近。因为粮草断绝，先后惨遭溃败，宋朝共计损失了近四十万人。
五路大军的战报传至朝廷，赵顼大叹息道：“孙固之前曾经劝谏朕，朕以为是迂腐之言，现在已是追悔无及了。”元丰五年正月，他下旨把高遵裕降为郢州团练副使、本州安置。种谔、王中正、刘昌祚，也分别受到降职处分。李宪没有能率部及时赶到灵州相援，董毡所部也严重失期，两人均出师无功。
李宪深知此次军事失利非同小可，便急忙上疏赵顼，一方面强调自己开发兰州、会州有功，另一方面以中途受阻、无法如期赶赴兴、灵二州为借口，把罪责尽量往其他将领身上推卸，企图以此邀功弭责。知枢密院、宰相孙固认为李宪没有如期会师，按律当处斩刑。
然而在对李宪的处理上，赵顼与朝臣发生了严重分歧。孙固上奏道：“兵法失期者当斩，何况各路大军都到了灵州，唯独李宪没有赶到，这岂是可以赦免之罪吗？”赵顼却以李宪有功，不忍心加罪，只是怎问他何故擅还？李宪称道：“因为馈饷不继，只好退回军。等日后准备好兵食，再图大举。”
赵顼为李宪所惑，竟然授李宪为泾原经略安抚制置使，兼知兰州，李浩为副。吕公著再上书谏阻，赵顼不听。吕公著于是称病求去，赵顼任命他为定州知州。当时官制已一律订定，改同中书门下平章事为左右仆射，参知政事改为门下中书侍郎尚书左右丞。赵顼即命王珪为尚书左仆射，蔡确为尚书右仆射，章惇为门下侍郎，张璪为中书侍郎，蒲宗孟为尚书左丞，王安礼为尚书右丞。
为了纳忠效信，灵州兵败三月之后，李宪又上书给赵顼，请求再次伐夏，期望将功补过。赵顼犹豫不决，于是询问宰相王珪。李宪此举，正中王珪下怀，他当即表示可以。