当时主管财政的大臣沈葆祯，一见西征军费的预算报告，金额甚巨，欲摊派给各省，从地方财政收入里抽调，可是这样一来则不易一时凑齐，有贻误战机之虞。军机大臣文祥过问，左宗棠亲自去找同治皇帝和慈禧太后陈述利害关系。同治皇帝御批道：“宗棠乃社稷大臣，此次西征以国事而自任，只要边地安宁，朝廷何惜千万金，可从国库拨款五百万，并敕令允其自借外国债五百万。”
左宗棠同时在兰州建立“兰州制造局”（亦称“甘肃制造局”），为西征军修造枪炮。为了对付阿古柏军的洋枪洋炮，并由广州、浙江调来专家和熟练工人，在兰州造出大量武器，还仿造了德国的螺丝炮和后膛七响枪，改造了中国的劈山炮和广东无壳抬枪。
光绪元年（1875年），朝廷上争议出兵收复新疆，引起“海防”与“塞防”之争。李鸿章等人力主海防，以日本为主要假想敌，主张放弃塞防，将“停撤之饷，即匀作海防之饷”。左宗棠则是塞防派，并力表异议，指出西北“自撤藩篱，则我退寸而寇进尺”，尤其招致英、俄渗透。当时的军机大臣文祥为左宗棠所说服，全力支持之。于是光绪皇帝和慈禧太后下诏授左宗棠为钦差大臣，全权节制三军，以将军金顺为副帅，择机出塞平叛新疆。
左宗棠收复新疆的战略是先安定新疆回部，“欲收伊犁，必先克乌鲁木齐”。如果乌鲁木齐城克服，“我威维扬”，再大兴屯田以保证长期后勤供应，安抚新疆各部族耕牧如常。如此，“即不遽索伊犁，而已稳然不可犯矣。乌城形势既固，然后明示以伊犁我之疆索，尺寸不可让人”。
在战术上，左宗棠分析：“俄虽国大兵强，难与角力，然苟相安无事，固以度外置之。至理喻势禁皆穷，自有不得已而用兵之日，如果整齐队伍，严明纪律，精求枪炮，统以能将，岂必不能转弱为强，至此劳师袭远之寇乎？”因此，“不在先索伊犁，而在急取乌鲁木齐。”左宗棠事先命西征军前锋部队统帅张曜，驻军哈密兴修水利、屯田积谷。光绪二年（1876年）一年就收获粮食五千一百六十余石，基本上可以解决该部半年军粮所需。为运输军粮，左宗棠又建立了三条路线：一是从甘肃河西采购军粮，出嘉峪关，过玉门，运至新疆的哈密，二是由包头、归化经蒙古草原运至新疆巴里坤或古城（今奇台），三是从宁夏经蒙古草原运至巴里坤。
到同年四月出兵时，左宗棠指挥的西征军有刘锦棠所部湘军25个营，张曜所部嵩武军14个营和徐占彪所部蜀军5个营，包括原在新疆各个据点的清军，共有马、步、炮军一百五十余营，兵力总数近八万人。但真正开往前线作战的只有五十余营，二万多人。
因行军其间要经过著名的莫贺延碛大沙漠，流沙数百里。粮草可以马驮车载，长途运输，“惟水泉缺乏，虽多方疏浚，不能供千人百骑一日之需，非分期续进不可”。大部队行军遇到的最大问题，是人畜饮水难以解决，所以只有分批分期地行进。左宗棠坐镇肃州，命刘锦棠、金顺分兵两路，先后率师出关。他把大军分作千人一队，隔日进发一队，刘锦棠走北路，金顺走南路，到哈密会齐。 刘锦棠率领西征军主力自肃州入新，至哈密行程约1700里，很顺利地进入哈密。部队各营到达哈密后，把从肃州等地陆续运往哈密的军粮再辗转搬运，翻过东天山九曲险道，分运至巴里坤和古城（今奇台）。很快，刘锦棠的前锋部队，已占据了距离乌鲁木齐只有不足三百里的济木萨（今吉木萨尔县）。
五月，两路会合。九月，首先攻下乌鲁木齐。阿古柏部队二号首领白彦虎逃到托克逊。又攻克玛纳斯城，从而北路荡平。接着集结兵力转攻南路。光绪三年（1877年）三月，又先后收复达板城和托克逊城。阿古柏逃往焉耆，留下他的小儿子驻守库尔勒为其垫后。不久，左宗棠军又收复吐鲁番，阿古柏一看通往南路的门户打开，自知大势已去，乃服毒自杀（一说被毒杀）。阿古柏的长子胡里为争权夺位杀死其弟，率领残部逃往喀什。白彦虎率领余众逃窜到开都河一带。这时，李鸿章等海防派，又运作朝廷，发出敕令：“廷臣聚议，西征耗费巨款，今乌城、吐鲁番既得，可以休兵。”左宗棠看罢大不以为然，于是又上疏抗旨，据理力争。慈禧太后看罢他的奏章，被说服，于是才继续新疆收复战。
此时，沙俄又和土耳其发生战争，金顺建议乘虚袭取被沙俄霸占的伊犁。左宗棠认为师出无名，反遭其谤，留下不打。同年八月，大军从正道向西挺进，先收复南疆东四城：焉耆、库车、阿克苏、乌什；接着收复西四城：喀什、英吉沙、叶尔羌与和田。阿古柏的长子胡里与白彦虎逃往俄国。至此，这场由英、俄两国支持的阿古柏之乱乃告平息。见此情景，住在山中的布鲁特（今柯尔克孜族）十四个部落，也争相内附。
仅一年多时间，左宗棠就指挥西征军，攻克了被外寇侵占的南疆八城，收复了除伊犁以外的新疆领土。事毕，左宗棠上表申奏朝廷，光绪帝和慈禧太后嘉其功，诏封二等侯爵。新疆各地也于大小村镇建立左公祠，烧香礼拜。
新疆收复后，上海“泰来洋行”的德国技师福克曾在哈密与左宗棠会面，观看了部队的演练，见湘军纪律严明，操练得法，军火枪炮也不落后，于是说：“清军若与俄国交战于伊犁，必获全胜。” 左宗棠同时又建“甘肃织呢总局”（亦称“兰州机器织呢局”），这是中国第一个机器纺织厂。
新疆设省
左宗棠于光绪六年（1880年）正月上书朝廷，力陈在新疆设省的主张。并建议朝廷派员与俄国会谈归还伊犁，引渡胡里、白彦虎等事宜。朝廷采纳了他的意见，派遣崇厚为全权大臣出使俄国进行谈判。
早在同治十年（1871年），俄国乘阿古柏侵占新疆之机，派兵侵占了伊犁，宣布“伊犁永远归俄国管辖”，但沙俄当时比较虚弱，已在争夺克里米亚的俄土战争中大败，其驻华公使不得不在照会清朝总理各国事务衙门时说些外交辞令，称占领伊犁是为了“安定边疆秩序”，“只因回乱未靖，代为收复，权宜派兵驻守，俟关内外肃清，乌鲁木齐、玛纳斯各城克服之后，当即交还”。但不料清军果真收复了乌鲁木齐、玛纳斯等城，被落了口实。左宗棠利用这个口实，强调俄方有归还许诺在先，所以要先通过外交途径和平解决伊犁问题。
沙俄表示，在获得中国在通商、割地、赔款和再次调整天山以北边界等方面做出让步后，才能交还伊犁。沙俄一边谈判，一边白彦虎和伯克胡里不断武装侵扰中国边境。沙俄称，如不满足要求，“就宣布条约被撕毁，不交还伊犁”。而后，崇厚在沙俄提出的“通商、划界、赔款”三项要求的条约上签字。
左宗棠向朝廷奏明：“此次与俄人谈判，沙皇包藏祸心，我今索还失地，方要我赔偿军费，趁我多事之秋，欺我少争战之志，多求合之意，妄图讹诈。伊犁乃我国之领：亡，俄军乘虚入侵，蹂躏我边民，掠取我财物。我今索还土地，俄方竟然要我赔偿军费，如此强盗行径，乃国际公理所不容也，此其一。俄方以划定两国边界为名，行掠夺土地之实，双方并未陈战，一弹未发，我朝公然割地与人，此乃外交所不许也，此其二。俄方之所谓通商，其商人志在谋利，其政府意在广设领事，深入我腹地，坐探虚实，此种通商，为我所不取也，此其三。臣以为如今之计，当先礼而后兵。我朝可更换使臣，与俄方重开谈判。如沙皇一意孤行，应诉诸于武力。臣虽不才，愿当此任。” 慈禧太后被说服，于是治崇厚罪，派曾纪泽出使俄国，重议条约。
左宗棠称：“壮士长歌，不复以出塞为苦也，老怀益壮。”自愿请行率军屯哈密，为曾纪泽做后盾。然后，兵分三路向伊犁方向挺进。命金顺部出精河为东路；命张曜部驻特克斯河畔为中路：命刘锦棠部出布鲁特游牧地为西路；左宗棠坐镇哈密亲领后路声援，号称王师四万，对中俄谈判的中方代表是一个巨大的支持力量。同时，左宗棠将其棺材从肃州运到哈密，借以表示收复伊犁血战到底的决心。…
