Sejak kecil, James diajak oleh sang ayah untuk menjauhi kehidupan tambang dan mengejar pendidikan yang lebih baik. Di sekolah, ia dikenal cerdas, terutama dalam matematika dan musik. Gurunya melihat potensi besar dan mendorongnya ikut ujian masuk Universitas St Andrews di usia 15 tahun.
Keputusannya untuk belajar kedokteran dipengaruhi oleh kakaknya, William, yang juga kuliah di sana. Ia berhasil masuk dan belajar dengan sangat giat, bahkan mendapat banyak penghargaan akademis. Namun, setelah lulus, ia merasa tidak cocok menjadi dokter rumah sakit karena cara sebagian dokter memperlakukan pasien tanpa empati.
Black akhirnya memutuskan menjadi dosen fisiologi di Singapura selama tiga tahun, guna melunasi utangnya selama kuliah. Sepulang dari sana, ia kembali ke Inggris dan menjadi kepala departemen fisiologi di Sekolah Kedokteran Hewan Universitas Glasgow. Di sinilah ia mulai meneliti dua hal penting: efek serotonin pada lambung dan cara menurunkan kebutuhan oksigen pada jantung penderita angina.