Olivier Roussat jest absolwentem Institut National des Sciences Appliquées (INSA) w Lyonie. Swoją karierę rozpoczął w 1988 r. w IBM, gdzie zajmował różne stanowiska w działach usług sieci danych, świadczeniu usług i przedsprzedaży. W 1995 r. dołączył do Bouygues Telecom, aby stworzyć centrum monitorowania i kontroli sieci i procesów biznesowych dla działu operacji sieciowych. Następnie został wyznaczony do kierowania tym działem, a następnie kierował działaniami związanymi z dostarczaniem usług telekomunikacyjnych i IT. Olivier Roussat został mianowany dyrektorem ds. sieci w maju 2003 r. i stał się członkiem Komitetu Wykonawczego Bouygues Telecom.

W styczniu 2007 r. objął kierownictwo nad jednostką biznesową Performance and Technology, która skupia wszystkie działy techniczne i IT Bouygues Telecom, w tym operacje sieciowe, systemy informatyczne, inżynierię procesową, zakupy, usługi korporacyjne i nieruchomości. Był również odpowiedzialny za siedzibę główną Bouygues Telecom i centrum Technopôle. Olivier Roussat został zastępcą dyrektora generalnego Bouygues Telecom w lutym 2007 r., a w listopadzie 2007 został mianowany dyrektorem generalnym. Od maja 2013 r. do listopada 2018 r. pełnił funkcję prezesa i dyrektora generalnego Bouygues Telecom, a następnie od 9 listopada 2018 r. funkcję prezesa.

Od 30 sierpnia 2016 r. do 17 lutego 2021 r. pełnił funkcję zastępcy dyrektora generalnego Bouygues SA. Od 17 lutego 2021 r. pełni funkcję dyrektora generalnego Bouygues S.A.. 

19 lutego 2019 r. został powołany na stanowisko dyrektora Colas. Od 1 października 2019 r. do 16 lutego 2021 r. pełnił funkcję Prezesa Rady Dyrektorów Colas.

Olivier Roussat jest kawalerem Legii Honorowej.