Els castells provenen del "Ball de Valencians", un ball que formava part dels costums populars de les festes majors de la "Catalunya Nova" (Sud de Catalunya).
El ball conté una sèrie de quadres de dansa que s’acompanyen amb la música de la gralla. Aquest ball acabava amb la construcció d’una petita torre humana que s’aixecava tres o quatre pisos.
La rivalitat entre els grups de "Ball de Valencians" per veure qui feia la torre més gran va arribar a l’extrem de què, el que en un principi era la culminació del ball, va anar agafant importància fins al punt en el que es va acabar separant la torre de la resta del ball.
La separació es va fer gradualment i per això no es pot datar amb exactitud la data en què els balladors van voler aixecar torres exclusivament. El moment culminant de la separació es va donar en el darrer quart del s.XVIII.
Durant la primera meitat del s.XIX s’anunciaven els "castellers" en els programes de les festes majors amb el nom de "ball de valencians"; a partir de la segona meitat de segle es va començar a estendre el nom "valencians vulgo Xiquets de Valls" a la zona del Penedès.
La presència de la música de la gralla que acompanyava el "Ball de Valencians" s’ha mantingut després de la separació acompanyant, també, els castellers.