Il castello, condiderato impropriamente saraceno, fu costruito dai Greci bizantini nel secolo VI d.c.
La prima volta che viene alla ribalta il nome di Agropoli è nel secolo VI, e precisamente all'anno 599, essendo papa Gregorio Magno. Agropoli in quell' Anno è sede vescovile, essendovi stata trasferita da Paestum qualche tempo prima. Agropoli, quindi temporaneamente fu sede vescovile, tanto è vero che in epoca bizantina i vescovi continuarono a risiedervi. Il castello di Agropoli, fu sempre proprietà dei vescovi pestani prima e di Capaccio poi, finchè questi non rinunciarono a possederlo o ne furono estromessi. Il castello di Agropoli nel secolo XI costituiva uno dei cantri amministrativo-politici più importanti del tempo. Infatti, nel 1100 fi stipulato un contratto col quale si stabilivano i confini tra i beni del Monastero di Cava e quelli del vescovo di Paestum.