Древнейшие известные на территории Порта Байкал человеческие поселения относятся ко времени, когда на этой территории жили эвенки. Известны две их сезонные промысловые стоянки, напротив истока Ангары и в пади Баранчик. Сам посёлок ведёт свою историю с начала XX века, когда строящийся Транссиб от Иркутска дотянулся до Байкала и возникла необходимость в крупной перевалочной базе с железнодорожного транспорта на водный. Отсюда, с причала поезда, грузы и пассажиры переправлялись на другой берег паромами-ледоколами. Тогда, как говорят местные жители – "при царе", и возник непосредственно порт и посёлок при нём.
Порт Байкал – своеобразный поселок, он выходит как на берег Байкала, так и на берег Ангары. Строения расположены на узкой полосе берега вдоль железной дороги и внутри четырех распадков. Самый большой и разветвленный называется местными жителями "Баранчик" (говорят, что слово произошло от эвенкийского слова "баранчук"), другой, узкий и длинный, именуется "Щелка". Ещё два выходят на берег Ангары.
В 1956 году, в связи с возведением плотины Иркутской ГЭС, затоплением железнодорожной ветки Иркутск - Порт Байкал и постройкой нового участка Транссиба посёлок сильно изменился. Затруднилось сообщение с Иркутском, возник отток жителей. Сейчас в поселке проживает чуть больше 500 человек.
В поселке сохранился почти весь комплекс железнодорожной станции: пассажирские, производственные, жилые и служебные здания, причал для ледоколов, маяк. Рядом находятся природные достопримечательности: незамерзающий в любые морозы исток Ангары с легендарным Шаман-камнем посередине реки и большой колонией разнообразный уток, остающихся здесь на зиму. На станции расположен музей КБЖД в здании вокзала.
Одна из достопримечательностей Порта Байкал – строящийся храм Преображения Господня. Шесть лет назад в поселке отвели и освятили для него место, но строительство началось только два года назад. Площадь всей территории храма составляет один гектар, на ней будут расположены сам храм, кельи для служителей, воскресная школа, заезжий дом для странников.
Летом порт Байкал посещает большое количество туристов. В поселке есть несколько магазинов, кафе, есть пансионаты и гостевые дома. Некоторые местные жители сдают летом комнаты.
Добраться до Порта Байкал можно при помощи паромной переправы или местного поезда «матани». Паром переправляется из Листвянки (мыс «Рогатка») три раза в день по расписанию, поезд «матаня» Слюдянка – Байкал ходит четыре дня в неделю. С июня по конец сентября от Листвянки до порта Байкал курсирует теплоход.