И действительно, он был настолько уверен в конечном результате, что принял решение придерживаться условий договора и любые военные операции на этом направлении отложить на будущее. Вместо запада он обратил свой взор на Туркестан. Предлогом для похода 1072 года в Среднюю Азию, который он возглавил, было устрашение хорезмского шаха, усиление могущества которого не могло не беспокоить сельджуков. Будущее подтвердило справедливость этих опасений, ведь после смерти сына Алп Арслана Малик-шаха хорезмские правители значительно потеснили Великих Сельджуков, а позднее, после того как с последовавшей в 1157 году смертью султана Санджара династия прекратила существование, они создали империю, куда помимо их собственных среднеазиатских владений вошло большинство северных районов Персии.

Оказалось, что в жизни Алп Арслана это была последняя военная кампания. Смерть его была весьма необычной: она настигла его, когда он судил группу пленных, среди которых был и хорезмский военачальник по имени Юсуф. Последнего подвели к султану связанным, и, когда Алп Арслан вынес ему смертный приговор, несчастный стал осыпать победителя оскорблениями. Задетый ядовитыми насмешками за живое, Алп Арслан велел страже ослабить путы Юсуфа и отойти в сторону. Затем султан поднял лук и выпустил в пленника стрелу. Однако в этот момент судьба сыграла с самым метким стрелком того времени злую шутку: его стрела не попала в цель, а в последовавшее за этим мгновение всеобщего оцепенения Юсуф бросился к Алп Арслану и ударом кинжала убил его.

Со смертью Алп Арслана история Великих Сельджуков Персии – они были известны под этим названием, отличавшим данную династию от династий сельджуков, правивших в других государствах, – перестала иметь непосредственное отношение к сельджукам Рума. И это несмотря на то, что двое наследников Алп Арслана – Малик-шах и Баркиярук – на правах старших в роду один или два раза напомнили о влиятельности своей семьи. Тем не менее никакой сколько-нибудь важной роли в истории они не сыграли. Наступало время, когда на ход событий в Малой Азии все более заметное влияние начали оказывать сельджуки Рума, а Великие Сельджуки Персии постепенно стали сходить со сцены и вскоре окончательно ее покинули.