De elf huisjes tellende poort was ooit eigendom van Mathias Chimaer, dienaer des Goddelijken Woorts ofwel gereformeerd predikant te Zoeterwoude. Over de Klootpoort, (ook wel bekend onder namen Vis- en Rijnpoort) is erg weinig bekend. Salomon van der Paauw vergiste zich toen hij de poort in de Vrouwensteeg (nu Nieuwebrugsteeg) in plaats van de Koenesteeg lokaliseerde. In 1894 werd de Klootpoort met nog zes andere poorten genoemd die vanwege een dreigende cholera-uitbraak op de waterleiding werden aangesloten. Dat gebeurde door de gemeente omdat de huiseigenaars weigerachtig waren. Tijdens het woningonderzoek van 1922 bleek dat er nog maar twee huisjes werden bewoond. Het waren eenkamerwoningen met lekkende daken en onvoldoende toetreding van licht en lucht.