Goldberg bol jedným z najbližších spolupracovníkov Nelsona Mandelu v boji proti nadvláde belošskej menšiny v JAR, pričom sa zapojil aj do ozbrojeného boja.
V roku 1964 bol pre podozrenie z pokusu o sabotáž zadržaný spolu s kľúčovými členmi hnutia proti apartheidu. Súd ho uznal za vinného z kladenia ozbrojeného odporu a odsúdil na doživotie.
Goldberg – jediný beloch medzi zadržanými a odsúdenými – strávil potom vo väzení v Pretórii určenom výhradne pre belochov 22 rokov. Jeho spoluodsúdení si trest odpykávali vo väzení na ostrove Robben Island.
Po svojom prepustení na slobodu v roku 1985 Goldberg pokračoval v boji proti apartheidu z exilu v Londýne, kam sa presťahoval aj rodinou, a to až do roku 1994, keď tento režim v JAR padol. Do vlasti sa vrátil v roku 2002.
Zomrel v stredu na rakovinu pľúc vo svojom dome v Hout Bay, ktoré je predmestím Kapského Mesta.