Narodil sa v roku 1946 v egyptskej Alexandrii do rodiny príslušníkov miestnej gréckej menšiny ako Artemios Venturis Rousos. Rodina sa presťahovala do Atén v roku 1961 – po tom, ako Roussosovi rodičia v dôsledku suezskej krízy prišli v Egypte o majetok.
V roku 1963 sa Roussos stal gitaristom a basistom v skupine The Idols. Neskôr, v kapele We Five, sa presadil už aj ako spevák. V roku 1968 založil spolu s Vangelisom skupinu Aphrodite’s Child, ktorá mala veľký úspech – celosvetovú slávu im priniesla pieseň Rain and Tears.
V roku 1971 sa Vangelis a Roussos rozišli a obaja sa vydali na sólovú dráhu, ktorá bola v oboch prípadoch úspešná: Roussos počas svojej speváckej kariéry predal asi 60 miliónov nosičov. Pre jeho prejav bolo typické spájanie pop music, rocku a gréckeho folklóru.
mž