Довольно часто приходится произносить эту фразу - "Жаль, мы не остались друзьями!"
Это самая верная формулировка. Жаль, то не остались, то есть, не сохранили общих интересов, точек соприкосновения, каких-то общих целей.
Восстановление дружбы после перерыва считаю ненормальным. Спустя годы меняются все, кроме клинических дебилов, и когда бывшие друзья пытаются поговорить о чем-то, получается конфуз - они уже чужие друг другу. Прошлое как правило уже не имеет значения, а настоящее у каждого свое. Сохранить дружбу - совсем не то же самое, что восстановить ее.
Так что раз уж с кем и разошлись пути-дорожки, лучше вспоминайте, как было хорошо во времена вашей дружбы, не пытайтесь наладить контакты заново. Приведет к тому неловкому чувству.