Com a expulsão dos garimpeiros, a região ficou abandonada até 1845, época em que foi fundado o Aldeamento Imperial Afonsino.
Em 1848, chegaram os colonizadores Joaquim Vieira de Machado e o major Antônio Vieira Machado da Cunha que iniciaram a exploração agrícola, às margens dos rios Castelo e Caxixe, onde surgiu uma povoação que denominou-se Castelo, devido à existência, no município, de uma montanha granítica com essa conformação.
Formação Administrativa
Distrito criado com a denominação de Estação Castelo, pela Lei Estadual n.º 1.887, de 31-07-1891, subordinado ao município de Cachoeiro do Itapemirim.Em divisão administrativa referente ao ano de 1911, o distrito de Castelo figura no município de Cachoeiro do Itapemirm.
Elevado à categoria de vila com a denominação de Castelo, pela Lei Estadual n.º 1.687, de 25-12-1928, desmembrado de Cachoeiro de Itapemirim. Sede no antigo distrito de Castelo. Constituído de 2 distritos: Castelo e Conceição do Castelo, ambos desmembrado de Cachoeiro do Itapemirim. Instalada em 07-05-1929.
Elevado à condição de cidade com a denominação de Castelo, pela Lei Estadual n.º 1.720, de 30-12-1929.
Pela Lei Estadual n.º 1.729, de 03-01-1930, é criado o distrito de Santo André e anexado ao município de Castelo.
Em divisão administrativa referente ao ano de 1933, o município é constituído de 3 distritos: Castelo, Conceição de Castelo e Santo André.
Assim permanecendo em divisão territoriais datadas de 31-XII-1936 e 31-XII-1937.
Pelo Decreto-lei Estadual n.º 15.177, de 31-12-1943, o distrito de Santo André passou a denominar-se Aracuí.
No quadro fixado para vigorar no período de 1944-1948, o município é constituído de 3 distritos: Castelo, Conceição de Castelo e Aracuí.
Em divisão territorial datada de I-VII-1955, o município é constituído de 3 distritos: Castelo, Conceição de Castelo e Araçui.
Assim permanecendo em divisão territorial datada de I-VII-1960.
Pela Lei Estadual n.º 1.909, de 06-12-1963, é desmembrado do município de Castelo o distrito de Conceição de Castelo. Elevado à categoria de município.
Em divisão territorial datada de I-I-1979, o município é constituído de 2 distritos: Castelo e Aracuí.
Pela Lei Estadual n.º 3.320, de 28-12-1979, é criado o distrito de Estrela do Norte e anexado ao município de Castelo.
Em divisão territorial datada de I-VII-1983, o município é constituído de 3 distritos: Castelo, Aracuí e Estrela do Norte.
Em divisão territorial datada de 1995, o município é constituído de 4 distritos: Castelo, Aracuí, Estrela do Norte e Monte Pio.
Pela Lei Estadual n.º 1.814, de 28-05-1998, é criado o distrito de Patrimônio do Ouro e anexado ao município de Castelo.
Em divisão territorial datada de 2003, o município é constituído de 5 distritos: Castelo, Aracuí, Estela do Norte, Monte Pio e Patrimônio do Ouro.
Em divisão territorial datada de 2011, o município é constituído de 5 distritos: Castelo, Estela do Norte, Limoeiro, Monte Pio e Patrimônio do Ouro.
Assim permanecendo em divisão territorial datada de 2017.
Fonte: IBGE