Anschließend wechselte Jim O‘Neill zur Swiss Banking Cooperation (SBC), eine der Vorgängergesellschaften der heutigen UBS, wo er sieben Jahre lang arbeitete, bevor er im Jahr 1995 als Partner zu Goldman Sachs wechselte, um dort den Bereich Währungsanalyse zu leiten. Nach dem Abgang von Gavyn Davies, übernahm Jim O’Neill im Jahr 2001 die Gesamtleitung der volkswirtschaftlichen Analyse von Goldman Sachs. 2010 wurde er zum Chairman von Goldman Sachs Asset Management (GSAM) ernannt.