Les "castells" proviennent des "balls de valencians", une danse qui fait partie des coutumes populaires des fêtes annuelles de la Catalunya nova au sud de la Catalogne.
La danse contient une série de coréographies qui s'accompagne de musique de gralla (ensemble de musiciens propre aux fêtes catalanes).
Cette danse se terminait par la construction d'une petite tour humaine qui se composait de 3 ou 4 étages .La rivalité entre les groupes de balls de valencians, afin de voir lequel eleverai la tour la plus haute, arrivait a l'extreme suivant: ce qui au début était la culmination de la danse, arrivait a prendre tant d'importance jusqu'au point de séparer cette tour du reste de la danse.
La séparation se fit graduellement, et donc il fut difficil de mettre une date éxacte sur le fait que les danseurs voulurent exclusivement monter des tours humaines.
L'époque culminante de cette séparation se situe dans le dernier quart du XVIII ème siècle. Durant la premiere moitié du XIX ème siècle les Castellers s'identifiaient sous le nom de Balls de Valencians; dans les programmes de fêtes annuelles à partir de la seconde moitié du siècle, le nom de "valencians vulgo Xiquets de Valls" pris de l'ampleur dans la zone du Penedès.
La présence de la musique de gralla qui accompagnait les "balls de Valencians" s'est maintenue après la rupture, accompagnant aussi les "castells".