Хоча актриса народилася в Нью-Йорку, походження її предків досить різноманітне. Народився в єврейській родині, її батько Карстен Йоханссон народився в Копенгагені, Данія. Тоді як її прадід-єврей працював продавець овочів у Нью-Йорку, його брат, разом з родиною, загинув у варшавському гетто під час Другої світової війни, серед постраждалих були діти. Вона дізналася про це, виступаючи в програмі Пошук своїх коренів, яка передає знаменитостям історії про своїх предків. Скарлетт була гостем в останньому епізоді. Коли ведуча телешоу повідомила їй про смерть своїх предків під час Голокосту, Скарлет розплакалася.
Скарлет переглядала документи Інституту Яд Вашем, світового центру, присвяченого пам'яті жертв Голокосту. "Я пообіцяв собі, що не буду плакати, але важко не плакати. Це божевілля. Ви не уявляєте цього жаху. "Завдяки цим знанням, які я зараз маю, я відчуваю себе більш пов'язаним з цією частиною своєї родини", - сказала Скарлет.