八木邸も前川邸同様に新撰組の宿舎として利用されていた。芹沢鴨が暗殺された場所でもあり、建物内部にはその際についた刀傷が残っている。