De poort is door de Buskruitramp van 1807 verwoest. Ze ontleende haar naam aan de eigenaar Pieter Vergens.den Ouden (dus ‘senior’).

Hij moet de stichter zijn geweest, want in het Oud Belastingboek AA2 wordt niet over een poort gerept. Ook niet toen Vergens op 04-07-1642 voor fl. 3.249 een huis en erf kocht uit de boedel van de lintreder Jacob Rijckensz. van Sant. De twee huysgens hier achter in de poort worden voor het eerst genoemd op 31-05-1671 toen de erfgenamen van Pieter Vergens het huis en de poort verkochten aan Maria van Hoven. Daniel Bateman die de huisjes op 06-06-1682 kocht, splitste het tweede huisje zodat de poort uiteindelijk drie huisjes telde.

De poort stond aan de noordzijde van de Middelste Raamsteeg, gerekend vanaf de hoek met de Garenmarkt naast het achtste huis dat daar ooit stond. In 1913 werd daar het voormalige Rijksmuseum van Natuurlijke Historie (de voorganger van Museum Naturalis) gebouwd