В 1368 году тверской князь обратился к нему за помощью, и Ольгерд не преминул воспользоваться возможностью вмешаться в междоусобные распри своих соседей. С большой ратью он неожиданно вторгся в пределы русских княжеств, разбил князя Семена Дмитриевича стародубского, потом в Оболенске убил князя Константина Юрьевича, наконец, 21 ноября на реке Тросне разбил московский сторожевой полк и беспрепятственно подошел к Москве.

Три дня стоял Ольгерд под новым московским кремлем, но взять его так и не смог. Отступая, литовцы опустошили окрестности Москвы, забрали в плен бесчисленное множество народа и весь скот, который нашли в окрестных селах. Несмотря на то, что литовцам так и не удалось взять Москву, урон был нанесен ощутимый. Впервые за последние сорок лет, то есть, начиная от первого года княжения Ивана Калиты, Московское княжество испытало теперь неприятельское нашествие.

Новый поход Ольгерд предпринял в 1370 году опять же по просьбе князя Михаила Александровича тверского. Зимою, в рождественский пост, Ольгерд двинулся на Москву с братом Кейстутом, Михаилом тверским и Святославом смоленским. Разорив посад у Волока-Ламского, они 6 декабря опять осадили Москву. Однако боязнь перед собиравшейся в Перемышле московской ратью заставила Ольгерда снять безуспешную осаду кремля и уйти в свое княжество.

Еще менее удачным был третий поход литовцев на Москву, предпринятый ими в 1372 году. На этот раз Дмитрий московский встретил Ольгерда у Любутска и разбил сторожевой литовский полк. После этого Ольгерд отступил и отказался от дальнейшего продолжения борьбы с Москвой.

Ольгерд пытался подчинить своему влиянию даже такие далекие от Литвы города как Новгород и Псков. В 1346 году он вторгся в новгородские владения и опустошил их по рекам Шелони и Луче. Крупную победу одержал Ольгерд над татарами при Синих водах. В результате ее Подолия была очищена от татар и укреплены южные границы Великого княжества Литовского.