Em Mafia II, diferente de seu predecessor o jogo não se passa na década de 30, época da Lei Seca. A nova versão transcorre durante o período final dos anos 40, mesma época da ascensão do grande chefe da máfia Charles Lucky Luciano, criador do Conselho das Cinco Famílias.
O jogo conta a história de um filho de um imigrante pobre, Vito é um derrotado americano e italiano, que está tentando garantir o seu pedaço do sonho americano. Visando escapar da vida de pobreza que consumiu a sua infância, Vito é logo seduzido pelo poder da riqueza, que a vida do crime organizado pode trazer.