光岡城跡は、貞和6年(1350年）に赤尾氏が築城したとされる城跡で、高さ130mの丘の上に位置し、面積は南北140m、東西80mあります。
戦国時代、山口の大内氏が支配していた豊前国に豊後国から大友氏が攻め入った後、大友方と反大友方に分裂し、熾烈な戦いが繰り返されていました。大友方であった赤尾氏は反大友方の軍勢から攻められ、この光岡城にたてこもりました。「宅所（館）や切寄（光岡城）が攻撃された」という記録（佐田文書）も残されています。発掘調査によると山の斜面を切り開いて平らな部分をつくり、見晴らしの良い北側に物見やぐらを含む6棟の建物が建てられていたとされています。また当時この建物の周囲には柵などにより迷路のように入り組んだ通路がつくられており、外側は敵が攻めてくるのを防ぐため、高さ2m以上の土塁と深さ6mの堀があったことが分かっています。さらに、その外側にも土塁や石垣がつくられており、当時の戦いの激しさが想像されます。

この史跡公園には、城山として光岡城跡が登場する横光利一の「旅愁」文学碑も建立されています。