Nacido el 27 de octubre de 1917 en Bizana, Transkei (hoy Sudáfrica). Consiguió una beca para cursar estudios en la Universidad de Fort Hare, en la que se licenció en ciencias en 1941. Siguió en la universidad interesado en el título de profesor, aunque fue expulsado en 1942 por encabezar una huelga estudiantil. Junto a Nelson Mandela pertenecían al pequeño grupo de activistas políticos que fundaron la Liga Joven del Congreso Nacional Africano en el año 1944.
Fue profesor en la Escuela de enseñanza secundaria de San Pedro, en Johannesburgo, y trabajó en un despacho de abogados en 1948. Cuatro años más tarde, Mandela y él fundaron el primer despacho jurídico dirigido por negros de Sudáfrica. En 1956 fue detenido acusado de traición, aunque fue liberado un año después. Se convirtió en secretario general cuando ejercía la presidencia en 1955 y en vicepresidente de Albert John Luthuli en 1958.
El gobierno declaró ilegal el ANC en 1960 y se translada a Zambia. En el exilio, ocupó la presidencia del ANC tras la muerte de Luthuli en 1967. Motivos de salud lo obligaron a dimitir de la presidencia en 1991, que recayó en Mandela, quien en 1990 se presentó, después de más de veintisiete años de prisión, como líder reconocido del ACN. Tras su fallecimiento, el 24 de abril de 1993, recibió un funeral con honores de jefe de Estado en reconocimiento a su lucha por la consecución de un gobierno de la mayoría en Sudáfrica. Se editó, Oliver Tambo habla: preparación para el poder (1988).