Relacionando a região do estado à qual o município faz parte com o território ocupado por cada grupo racial indígena, podemos acreditar que o território de São José do Herval fosse ocupado por índios tapes, que poderiam ser charruas, tupis ou tupuias.

Acredita-se que a décima quinta redução Jesuíta tenha sido fundada na região da Serra do Botucaraí, exercendo influências no gentio que habitava toda essa região, inclusive onde hoje situa-se o município de São José do Herval.

Formação Administrativa

Distrito criado com a denominação de São José do Erval, pela Lei Municipal n.º 162, de 05-11-1952, com território desmembrado do distrito de Fontoura Xavier, subordinado ao município de Soledade.

Em divisão territorial datada de 1-VII-1960, o distrito de São José do Erval figura no município de Soledade.

Pela Lei Estadual n.º 4.974, de 09-07-1965, o distrito de São José do Erval foi transferido para o município de Fontoura Xavier.

Em divisão territorial datada de 1988, o distrito de São José do Erval figura no município de Fontoura Xavier.

Elevado à categoria de município com a denominação de São José do Herval, pela Lei Estadual n.º 8.595, de 09-05-1988, alterada em seus limites pela Lei Estadual n.º 9.000, de 11-01-1990, desmembrado de do município de Fontoura Xavier. Sede no atual distrito de São José do Herval (ex-São José do Erval). Constituído do distrito sede. Instalado em 01-01-1989.

Em divisão territorial datada de 1995, o município é constituído do distrito sede.

Assim permanecendo em divisão territorial datada de 2007.