A Ordem nasceu a partir de um grupo de peregrinos europeus no tempo das Cruzadas. Esse grupo decidiu que deveriam entregar-se até as últimas conseqüências. Estabeleceram-se nas encostas do Monte Carmelo, na Palestina.

Aos poucos, este grupo de eremitas cresceu, se espalhando por todo o Monte, vivendo separados uns dos outros em pequenas cavernas, procurando assim imitar Elias.

O objetivo desses monges era dedicar suas vidas a Jesus Cristo, defendendo com sua presença, a terra do Senhor e abraçar o estilo de vida dos monges antigos, isto é, buscar na solidão do deserto a plenitude da vida cristã imitando a Jesus Cristo.

Assim, recorreram a Santo Alberto, Patriarca de Jerusalém de 1206 a 1214. Pediram algumas normas para organizar sua vida, ou seja, uma Regra de Vida.

O Patriarca, Cônego Regular de Santo Agostinho, elaborou, então uma carta, contendo as normas para a vida dos monges (1209). Esta carta transformou-se na Regra do Carmo e se conve rterá em fundamento e ponto de referência constante para aqueles que se associaram à nova família religiosa fundada por estes cruzados-ermitães no século XIII.

Desde o começo, a ordem dos Frades Carmelitas se distinguiu-se pela devoção a Nossa Senhora. Daí o Título de Nossa Senhora do Monte Carmelo ou Nossa Senhora do Carmo, como é mais popularmente conhecida. Alguns anos depois, esses primeiros eremitas do Monte Carmelo emigraram para a Europa estabelecendo-se em Chipre, na Sicília, na Inglaterra e nos demais países da Europa.

Os Carmelitas sempre procuraram imitar o Profeta Elias no recolhimento e no silêncio. Seguindo seu modelo, para esses monges, o Profeta foi o inspirador da vida carmelitana.

Quando, em 1215, o Concílio de Latrão proibia o estabelecimento de novas Ordens Religiosas, muitos contestaram o direito de existência aos Carmelitas, visto eles não terem ainda aprovação pontifícia. Os Carmelitas recorreram a Roma diversas vezes até que, finalmente, a aprovação é dada pelo Papa Honório IV, em 30 de Janeiro de 1216.

Em 1237, devido às perseguições dos muçulmanos, todos os eremitas europeus receberam ordem de regressar aos seus países de origem. Este êxodo foi providencial, pois, em 1291, todos religiosos que continuaram no Monte Carmelo foram todos massacrados. A Ordem Carmelita salvou-se porque já tinha criado raízes na Europa.

Não foi nada fácil a adaptação à Europa, pois aí, a vida tinha outras exigências que não tinha a vida como eremitas. Em 1229, o Papa Gregório IX obriga-os a uma pobreza mais estrita, equiparando-os às Ordens Mendicantes: tinham que procurar o seu sustento numa vida ativa. Ao mesmo tempo, eram proibidos por muitos Bispos de viverem nas cidades, conforme mandava a Regra.
Foi nestas circunstâncias difíceis que São Simão Stock, a quem Nossa Senhora entregou o Escapulário do Carmo, foi eleito eleito Prior Geral. Este, vendo as dificuldades, pediu ao Papa a adaptação da Regra às novas situações. Esta adaptação foi concedida pelo Papa Inocêncio IV, em 1 de Outubro de 1247. Assim, iniciou-se uma nova vida e uma nova era na Ordem Carmelita.

Mas, os empecilhos continuaram. Por um lado, as pessoas não os acolheram bem, imaginando que eram mais alguns a viver às custas de suas esmolas. Por outro, os próprios eremitas tinham dificuldade em se adaptar à nova condição.

O Geral da Ordem na época, Nicolau, o Francês (sucessor de Simão Stock), tentou mesmo destruir a obra do seu antecessor. Mas, ao sentir oposição, demitiu-se e resolveu retirar-se para a solidão, onde escreveu a célebre Sagitta Ignea, em 1272. Esta descreve as suas desilusões e convida todos a regressarem novamente à vida contemplativa na solidão dos eremitérios.

Como em outras Ordens, também na Carmelita houve Reformas. Há duas mais importantes: no séc. XV, após o Cisma do Ocidente; no séc. XVI, após o Concílio de Trento. Desta segunda Reforma surgiram os hoje chamados "Carmelitas Descalços".