Воспользовавшись тем, что шведы были заняты решением религиозных споров, прибалтийские народы перестали платить им дань. Живущие на побережье и островах Балтийского моря племена аборигенов стали промышлять морским разбоем, осмелев настолько, что стали нападать на прибрежные поселения Дании и Швеции. Активным участником набегов на ослабленную гражданской войной Швецию становятся данники Новгорода карелы. В середине XII века карелы предприняли несколько крупных набегов на шведские владения в Финляндии и на остров Готланд. Эти походы карелы совершали из Ладожского озера, выходя в Балтийское море по рекам Нева и Вуокса.

Потерю шведами восточного побережья Балтики относят ко времени царствования короля Олафа Скетконунга (995-1022), дочь которого Ингигерда была женой Ярослава Мудрого. Вместе с ней на Русь приехал ярл Рагивальд, который стал княжеским наместником в одном из городов (возможно, в Ладоге, которую Ярослав подарил своей невесте в качестве свадебного подарка). При дворе Ярослава Мудрого нашел прибежище и норвежский король Олаф Святой, который, потерпев неудачу в обращении своих подданных в христианство, потерял трон и бежал в Киев. Сын Олафа Магнус Добрый был воспитан при дворе великого князя Киевского. Сам Олаф стал у Ярослава «начальником войска, посылаемого для защиты границ» (Соловьев, СС. т. 1, с. 224). Аналогичные функции были возложены и на ярла Рагивальда. У него было три сына, двое унаследовали отцовскую должность, а третий – Стенкиль стал шведским королем (1060—1066). Шведским королем стал и сын Стенкиля – Инге (правил с 1083 по 1110 г.), который тоже получил воспитание при дворе Киевского князя.

Именно под командованием Олафа и Рагивальда русские дружины вторглись в Прибалтику с целью обложить данью аборигенов. Вот ведь исторический парадокс: Ярослав Мудрый принимает на службу шведов, потерпевших неудачу в крещении соотечественников. А обращали они их не в православную веру, а в католическую. Католическое вероисповедание шведских изгнанников не помешало им повести своих православных хозяев на покорение язычников-прибалтов. И православные русские, и католики-шведы пришли к ним совсем не для того, чтобы распространять христианскую веру.