Le château de Picomtal a été bâti par les Embrun, seigneurs laïcs aux côtés des archevèques d'Embrun, auprès desquels ils exerçaient des fonctions des viguiers ou vidames. Ils ont fourni un très grand nombre d'archevêques au cours du Moyen-Age. Leur souveraineté s'étendait alors de Châteauroux jusqu'à Pont rouge ( Pont sur le torrent de Boscodon), aux limites de Montmirail et de Savines.

Les Embrun ont été chassés de la ville par une révolution municipale de Châteauroux (Château de Marcellin) vers l'an 1080, à l'instigation de l'archevêque et des bourgeois de la localité. Ils se sont alors retirés dans la partie basse de la paroisse de Saint Jean, où ils construisirent un donjon de bois, fondant ainsi la seigneurie des Crottes.

Au XIIIème, le donjon de bois a été remplacé par un donjon de pierres, tour Sud-Ouest du Château actuel et dite Tour Boniface. Cette tour, entourée d'une palissade de rondins, comportait une cave et un étage non voûté auquel on accédait au moyen d'une échelle.

La présence de la garnison qui accompagnait les anciens seigneurs d'Embrun et la sécurité qu'elle apportait, incita les cultivateurs de la paroisse de St Jean à s'établir à proximité de leurs terres de la plaine ; c'est ainsi que naquit l'agglomération de Crots, qui ne comportait jusqu'alors que quelques bergeries d'étape pour les transhumances.

En prenant comme point de départ le donjon du XIIIème, les Embrun ont ensuite, au XIVème, bâti un château carré de quatre tours, comportant au rez de chaussée une cuisine et une écurie voûtée et pavée. Au premier étage avaient été aménagées deux pièces de grandes dimensions. L'escalier se trouvait dans la tour nord-ouest aujourd'hui disparue. Les tours de ce château n'étaient pas voûtées.

En 1507, Martin de la Vilette, qui avait hérité des Embrun, a remanié complètement le château. Doublant sa surface au sol, il a fait démolir les deux tours du côté de la plaine, et les a remplacées par deux autres tours érigées sur la terrasse actuelle. Il a fait construire en avant de l'ancienne façade nord trois pièces sur cave et une cage d'escaliers. C'est sans doute à cette époque qu'il a fait surélever les deux tours antérieurement existantes, réhaussé d'un étage le bâtiment du XIVème et fait reconstruire la charpente actuelle du corps central de l'édifice.

L'aménagement intérieur, les plafonds à la française et l'édification des murs de refend doivent dater de la fin du XVIème ou du début du XVIIème. Il est en tout cas antérieur à 1692.

Le château de Picomtal compte donc une tour du XIIIème, un bâtiment du XIVème auxquels ont été accolés un autre bâtiment et deux tours au début du XVIème. L'état primitif a donc été depuis à peu près intégralement conservé. Les fenêtres ont pourtant été agrandies ; une véranda a été construite sur la façade sud, sans doute au début du XIXème. A cette époque également, la façade s'est ornée d'un balcon de bois aujourd'hui disparu. Les murs de soutènement de la terrasse sont du XVIè, ainsi que l'emplacement du jardin.