Ha uno stile composito, ottenuto con l’assemblaggio dei motivi architettonici dei castelli medioevali.
Nel piano terreno si aprono tre finestre, una porta e una finestrella sovrastate da una piattabanda a sbalzo formata da pietre regolari più chiare del paramento in mattoncini rossi.
Sopra le finestre ci sono nove mensole in corrispondenza dei fori che servivano per le impalcature di costruzione.
Il piano terreno è delimitato in alto da una cornice a sbalzo su cui poggiano le quattro finestre del primo piano, sormontate, talvolta, da un vero e proprio arco realizzato con le stesse pietre che delimitano quelle inferiori.
Sul lato destro delle quattro finestre sono posizionate quattro aperture cieche.
Il primo piano, come quello inferiore, è delimitato in alto dalla cornice aggettante, che si interrompe, tuttavia, dove si innesta la torretta. Essa si presenta merlata e perimetrata da una teoria di archetti acuti ciechi; su questo fronte rivolto a sud si aprono due finestre analoghe a quelle del piano terreno. Tra di esse torna di nuovo un’apertura cieca. Gli angoli dei due piani e della torretta sono rinforzati con una fila dei medesimi conci che rifiniscono le finestre.

La collina di Segalari conserva i resti di un antico centro abitato: una torre, l’esterno di un palazzo, un mulino, resti di mura, una cappella e fuori dall’area della tenuta vera e propria una casa colonica.
Nel dodicesimo secolo compare ufficialmente un ramo dei della Gherardesca con il titolo di “Conti di Segalari”, che si estinse, però, nel 1305.
La tenuta, rimasta in dote ad Emilia, figlia di Ugolino, passò ad Ildebrandino  degli Ildebrandeschi, quindi agli Orlandi di Sassetta, poi di nuovo ai Della Gherardesca fino al 1945; In seguito venne venduta ai Ceuli.
Costoro la tennero senza mai andarvi ad abitare, ma affittandola con l’impegno che, chiunque l’avesse resa fertile, dopo nove anni avrebbe avuto metà del possesso.
Agli inizi dell’Ottocento si succedettero i pisani Lanfranchi e Bigazzi, ma nel 1829 l’intera tenuta fu acquistata da Luigi Merlini che iniziò le opere di restauro, testimoniate da alcune lapidi recentemente oggetto di pubblicazione.
Alla fine del diciannovesimo secolo Walfredo Della Gherardesca acquistò Segalari e dedicò particolare cura al restauro del palazzo, fino ad ora decisamente modesto, conferendogli quelle caratteristiche di “castello”, ossia dotandolo di torretta e merli, che ancora oggi conserva.
La torre è quadrangolare in pietra, merlata. Nei lati a sud-est e ovest si apre una finestra e sul lato est si trova la porta d’ingresso (attualmente in parte murata).
Si tratta, probabilmente, di una sopravvivenza architettonica dell’antica tenuta di Segalari.