Він народився на Різдво 1818 року в Белфорді, Великобританія, четвертий син Бенджаміна та Аліси Джоуль. Перші два хлопчики у них були разом померли в дитинстві. Брат Джеймса, Веніямин, був його батьком. Після Джеймса народилися ще дві доньки - Аліса, яка померла у віці 14 років, та Мері. У нього був ще молодший брат Джон. Джеймсовотек був заможною людиною, якій належала пивоварня в Манчестері. Коли юнак страждав на хворобу хребта, яка мала великий вплив на більш замкнутий і сором'язливий характер. Джеймс не ходив у звичайну школу, але їх навчали вдома домашні вчителі.
З чотирнадцяти років він почав відвідувати Манчестерський університет, але лише до шістнадцяти років, коли він пішов навчатися до видатного британського хіміка і фізика Джона Далтона, який був автором теорії про те, що атоми є неподільними сферами. У дитинстві він любив поїзди. Його інтерес до паровозів, ймовірно, вплинув на його пізніші стосунки до теплової енергії та гомодинаміки. Під час вивчення відлуння в горах він втратив пістолет батька. Це був не єдиний досвід його роботи зі зброєю, інакше він випадково вистрілив у брови. Він також був досить нещадним щодо здоров'я слуг у резиденції Джоуля.
Наприклад, він провів серію тестів на покоївці, даючи їй дози електрошоків, поки вона не втратила свідомість. У той час він, на щастя покоївки, судив, що найкраще зупинити експеримент. Хоча Джоуль працював у пивоварні Votec, його інтерес полягав у експериментах із природними явищами. Джон Далтон сказав йому, що він, мабуть, точно ретельний експериментатор. Далтон зробив трохи більше, ніж ліниву арифметику та геометрію. Він також започаткував це в хімії свого батька. Наприкінці свого викладання Джоуль став дуже розумним у лабораторії.
Він повернувся додому, де батько наказав йому побудувати лабораторію. Джеймс хотів бути розумнішим за свого вчителя. Він виготовляв вимірювальні машини з високим ступенем точності. З 1837 по 1856 Джоуль працював у сімейній пивоварні. Він сподівався замінити парові машини на електродвигуни. Його перші дослідження були зосереджені на підвищенні ефективності роботи електродвигунів. Коли в 1920-х роках він побудував електродвигун, який використовував обертовий рух провідника зі струмом у магнітному полі. Його дослідження стосувалось виробництва тепла.
Одним з перших його інтересів було електричне поле. Він намагався вдосконалити електродвигун, зробивши батареї та електромагніт набагато потужнішими. Його спроби сконструювати двигун для виробництва електроенергії нескінченної потужності зазнали невдачі, і він поступово виявив, що його ціль недосяжна. Він почав вимірювати роботу і тепло, вироблене електрикою. В результаті своїх досліджень Джоуль виявив, що ... потужність ... машини пропорційна результату ... і ... напруженості акумулятора. Джоуль все ще вірив, що колись електродвигун замінить парову машину. Джоуль змінив напрямок свого інтересу до перетворення електрики в тепло.
Це принесло йому цінні знання:
Кількість теплоти, що утворюється в секунду в провіднику, через який протікає електричний струм, прямо пропорційна квадрату струму та електричному опору провідника.