Однако спустя годы былой симбиоз руссов – викингов сменился враждой. Первое летописное упоминание о нападении шведов на русские владения со времен Рюрика относится к 1164 году, когда шведы попытались захватить Ладогу. Ладожане сожгли посад и затворились в Кремле, послав в Новгород за помощью. С ходу взять одну из первых на Руси каменных крепостей шведы не смогли. Убедившись, что стены Ладоги им не по зубам, шведы отступили, надеясь выманить русских на бой в чистом поле. Ладожане на уловку не поддались, а через пять дней подошла подмога из Новгорода. Новгородское ополчение и княжеская дружина ударили по шведам и нанесли им сокрушительное поражение. Из 55 судов шведы потеряли 43. Согласно сообщению новгородской летописи, из тех немногих, кому удалось спастись бегством, все были раненые. Причины появления шведов на Ладоге летопись не объясняет. Красноречивое молчание летописца на сей счет говорит о том, что для современников это событие не было неожиданностью. Из-за чего же бывшие союзники стали врагами? Во времена викингов будущие датчане, норвежцы и шведы безраздельно господствовали на побережье Балтики. В частности, территория современной Эстонии была зоной влияния шведских викингов, которые обложили данью местных жителей. В отличие от скандинавов, славянские племена Киевской Руси на побережье Балтийского моря не селились. Они осваивали берега рек. Заболоченные прибалтийские леса стали естественной границей расселения восточных славян.

К началу XI века шведы утратили контроль над Прибалтикой. Произошло это из-за того, что в Швеции разразилась гражданская война между христианами и язычниками, которая продлилась целое столетие.