Pelos anos de 1830, quando famílias de imigrantes alemães, vieram para o Brasil, adentraram nas matas em busca de terras férteis para cultivar. O caminho aberto na mata era chamado "picada". Uma das primeiras famílias alemãs que aqui chegaram foi a família Hartz. Desta junção formou-se o nome: Picada Hartz.

Inicialmente, a origem étnica da comunidade de Picada Hartz era essencialmente alemã, chegando a 98% da população. Com o passar dos anos, o desenvolvimento foi tomando forma e Picada Hartz foi recebendo novos contingentes populacionais de origens diversas, o que reformulou o quadro étnico desta localidade, que hoje conta com 55% da população alemã e 45% de outras descendências.

Decorridas muitas décadas após a chegada dos primeiros moradores, lideranças de Picada Hartz sentiram a necessidade de ver sua terra emancipada. Foi então que surgiu o movimento emancipacionista, tomou expressão e caráter público após a reunião realizada no dia 11 de Julho de 1985. Nesta ocasião foi eleita uma Comissão Emancipacionista, a fim de dirigir os trabalhos. O município de Nova Hartz foi instituído oficialmente em 02 de Dezembro de 1987 pela Lei Estadual nº 8.429.