Laut der mythologischen Geschichte stahlen die griechischen Seefahrer, die Argonauten, um 1200 v. Chr. in Kalhida an der Schwarzmeerküste Kleinasiens das Goldene Vlies und gelangten über das Schwarze Meer über den Fluss Ister (heute die Donau) an die Alpenhänge in Slowenien. Sie stiegen über das Grundwasser zum Fluss Mirna hinab, errichteten dort an den Hängen ihre Befestigungen und ließen sich nieder. So entstand aus ihrem Namen Istrien.
Mit der Ankunft der römischen Legionen erscheint an den Hängen über dem Hafen von Nigrinjan die Burgfestung Nigrinjan, deren Reste noch heute bestehen. In der Römerzeit gehörte das Gebiet von Kaštelir und Labinci zur Kolonie Poreč und die römische Heerstraße Via Flavia führte durch dieses Gebiet. Die Römer nutzten diese Straße, von der noch Überreste erhalten sind, um über Triest, den Fluss Mirna, Kaštelir und Labinci nach Poreč und weiter nach Pula zu gelangen.
Unweit der Via Flavia, hinter dem Dorf Dvori, wurden 1908 die Überreste eines großen Nebengebäudes – Villa Rustica aus dem zweiten Jahrhundert – gefunden. Der römische Besitzer errichtete in diesem Gebäude sogar einen besonderen Raum, der Bacchus, dem Gott der betrunkenen Heiterkeit, gewidmet war. Die Tafel mit der Inschrift wird noch heute im Museum von Poreč aufbewahrt.
Während der venezianischen Herrschaft wurde die Halbinsel von Flüchtlingen aus Dalmatien und Bosnien bewohnt, die vor den Türken flohen. Diese Familien nannten die Siedlungen um Kaštelir mit ihren Nachnamen, die noch heute so genannt werden. Ein ähnliches Schicksal ereilte die Ansiedlung von Labinci. Die bewegte Geschichte hat bedeutende Merkmale mit sich gebracht, die die Entwicklung des Ortes prägen. Ende des 18. Jahrhunderts wurde Istrien Teil Österreichs, die Möglichkeiten der ansässigen Bevölkerung nahmen stark zu und sie erhielten größere Freiheiten.
1892 wurde in Labinci in den Räumlichkeiten des alten Pfarrhauses eine italienische Schule eröffnet und 1896 in Kaštelir eine der ersten kroatischen Schulen in Istrien. Mit dem Vertrag von Rapallo im Jahr 1920 kam Istrien unter italienische Herrschaft und die kroatische Schule und Musik stellte sofort ihre Arbeit ein, die erst nach dem Zweiten Weltkrieg, als Istrien an Jugoslawien annektiert wurde, wieder instand gesetzt. Seit der Unabhängigkeit Kroatiens von Jugoslawien sind Kaštelir und Labinci, historisch und geographisch eng aneinander gebunden und mit familiären Bindungen und Territorien verbunden, eine Gemeinde geworden.