Setelah sukses dengan propranolol, Black melanjutkan karyanya di perusahaan Smith, Kline & French. Di sana, ia menciptakan cimetidine, obat pertama yang mampu menghambat kerja histamin di lambung. Obat ini kemudian dikenal dengan merek dagang Tagamet dan menjadi obat paling laris di dunia.
Meski penemuan-penemuannya membawa keuntungan besar bagi perusahaannya, Black tidak mengejar kekayaan. Ia hanya ingin menyelesaikan masalah medis yang ada di depan matanya. Prinsip inilah yang membuatnya dihormati bukan hanya sebagai ilmuwan, tetapi juga sebagai pribadi yang tulus dan berdedikasi.
Setelah keluar dari industri, Black kembali ke dunia akademik. Ia sempat mengajar di berbagai universitas ternama dan mendirikan James Black Foundation untuk mendukung penelitian farmakologi. Pada tahun 1992, ia diangkat menjadi Rektor Universitas Dundee hingga tahun 2006.
Sepanjang hidupnya, Black menerima banyak penghargaan bergengsi, termasuk Penghargaan Lasker, Knight dari Ratu Elizabeth, hingga Medali Emas Wellcome. Namun, kehormatan tertinggi datang pada tahun 1988 saat ia menerima Hadiah Nobel Kedokteran atas kontribusinya bagi dunia.