Den opprinnelige bygningen i Skippergata 9 var fra 1760, dette er dagens underetasje og første etasje. Den gang var den Kvadraturens høyeste bygning, og var synlig fra alle Kvadraturens ytterpunkter. Etter hvert ble andre bygninger i området høyere, men i 1820 og 1850 ble Skipper­gaten 9 igjen den høyeste ved at andre og tredje etasje ble påbygget. Historien gjentok seg, men i 1894, med påbyggingen av fjerde og loftsetasjen, ruvet bygningen atter en gang høyest i Kvadraturen. Navnet «Loftsgaarden» gjenspeiler bygningens ambisiøse historie.