Появление VoIP датируется 1995 годом, когда маленькая израильская компания VocalTec выпустила первую программу для интернет-телефонии. Программа называлась Internet Phone и была предназначена для звонков с домашнего компьютера. Для передачи голоса она использовала звуковую карту, микрофон и наушники, а также протоколы семейства Н.323, которые на сегодня практически вышли из употребления. Сейчас гораздо более популярны протоколы SIP и Skype. Тем не менее компания VocalTec со своей компьютерной программой стала очень известной. Тогда она произвела настоящую революцию на рынке интернет-телефонии, приблизительно как сейчас программа Skype. Но, к сожалению, в то время рынок не был еще готов принять VoIP. Во-первых, сам Интернет был недостаточно распространен. Во-вторых, большинство пользователей подключалось к нему по телефонным каналам с низкой пропускной способностью. Соответственно, и качество связи было очень плохим. Время широкополосного доступа еще не пришло.
Однако уже тогда, в 1995 году, все понимали мощный потенциал VoIP-телефонии. В течение нескольких следующих лет крупнейшие производители сетевого оборудования, такие как Cisco и Nortel, наладили выпуск коммутаторов с поддержкой VoIP. После появления серийных коммутаторов технологию VoIP стали использовать многие крупные компании для организации дешевой связи внутри своей корпоративной сети.
В Америке, да и во многих других странах появилась масса предпринимателей, которые на основе этих коммутаторов соорудили шлюзы для трансляции международных звонков через Интернет. Они продавали в магазинах специальные карточки, по которым человек получал доступ к шлюзу и мог позвонить в другой город по выгодным тарифам. Такие сервисы сохранились до сих пор, но именно в конце 1990-х годов они стали очень популярными. По данным американских аналитиков к 2000 году интернет-телефония составляла уже более 3 % всего голосового трафика в США.
В дальнейшем появление программы Skype и бурный рост широкополосных каналов связи подстегнул развитие VoIP-телефонии во всех регионах мира.