Het zou kunnen dat de Engelse Toren genoemd is naar de Engelse boogschutters die de Hollandse graaf Willem IV in dienst had. Hij probeerde Friesland te veroveren en gebruikte Enkhuizen als uitvalsbasis. Gerard Brandt vermeldt dat de toren in 1396 gebouwd is. Juist tussen 1396 en 1400 was er sprake van een aantal aanvallen vanuit Enkhuizen op Staveren / Stavoren. De goed getrainde Engelsen waren een geducht aanvalswapen met hun bogen. Het waren scherpschutters, zoals een Friese vrouw op de dijk bij Kuinre merkte toen ze de troepen van de Hollandse graaf aan boord van de schepen uit Enkhuizen wilde provoceren door haar blote billen te laten zien. . . De Friezin heeft haar actie niet overleefd.
 Zoals een schrijver opmerkte: het werden, op diva Mata Hari na, de beroemdste billen uit de Friese geschiedenis.

De toren werd in 1602 gebruikt als kantoor van de VOC. De bewindhebbers moesten voor hun activiteiten meer ruimte hebben, vandaar dat het gebouw van een hoge kap werd voorzien. Nog geen dertig jaar later was de Enkhuizer Kamer van de VOC zo’n groot, en rijk, bedrijf geworden dat ze een nieuw en groot pand aan de Wierdijk konden betrekken. De Engelse, of Oost-Indische Toren zoals het gebouw ook kwam te heten, werd nu verhuurd aan een herbergier die er zijn bedrijf in vestigde. In 1739 verkocht de gemeente de herberg ‘De Tooren’ aan Harme Veltman, die in eerste instantie het gebouw wilde slopen maar daar later toch maar vanaf zag. 

Iets over de inrichting van de herberg komen we te weten doordat Jan Valentijn in 1812 de herberg verhuurde aan Cornelis Brouwer. In het huurcontract is een inventaris opgenomen dat door de notaris is opgesteld. In de gelagkamer bijvoorbeeld waren 42 stoelen, waaronder achttien luxe kussenstoelen. Er was een groot wijnbuffet, de eigenaar Jan Valentijn was wijnhandelaar, en verschillende schenk- en speeltafels. De gelagkamer werd opgesierd door een groot zeegezicht met verschillende schepen.
Beroemde gasten waren in de zomer van 1823 Jacob van Lennep en Dirk van Hogendorp die een voetreis door Nederland maakten. In het reisverslag van Van Lennep staat geschreven: De stad doorloopen hebbende kwamen wij te 12 ure in de herberg de 0ost Indische Toren aan; waar wij ons goed, dat wij van Amsterdam derwaarts gezonden hadden, vonden, en ons middagmaal bestelden. Helaas geven zij niet meer details over hun verblijf in de herberg in de Bocht.
De Engelse Toren heeft dan zijn langste tijd al gehad. De erfgenamen van Jan Valentijn wilden het gebouw slopen. In eerste instantie weigerde de gemeente toestemming te geven, maar tot woede van het stadsbestuur gaven de Gedeputeerde Staten toch een sloopvergunning. Wel moesten de ankers en de steen met de inscriptie die herinnert aan de mislukte aanslag van de Harderwijkers in 1537 naar de Drommedaris verhuizen. Het lege terrein moest met een muur omsloten worden. Helaas waren er al vele, vele van dat soort sloopmuren in de stad.

Zielverkopers, slaapbazen of volkshouders vond je in de zeventiende en achttiende eeuw in alle havensteden. Vaak waren het logementshoudsters. Een werkeloze en meestal berooide zeeman kon bij hen terecht voor voedsel en onderdak. De zielverkoopster regelde dat de zeeman op een VOC-schip kon aanmonsteren en als het nodig was, zorgde ze ook voor een scheepsuitrusting. De VOC-boekhouder stelde dan een schuldbekentenis op (een transportceel) waarin onder andere geregeld werd dat de VOC een gedeelte van zijn voorschot en gage aan de zielverkoopster betaalde. 

Zij liep natuurlijk wel risico’s. Als de zeeman overleed of deserteerde, stopte de betaling en kon de zielsverkoopster naar haar geld fluiten. Maar ook voordat een schip vertrok, moest de volkshoudster oppassen. Als het schip waarop een zeeman aangemonsterd had dreigde te vertrekken, kon het wel eens gebeuren dat de gast van de zielverkoopster probeerde weg te lopen, haar achterlatend met een forse rekening en een waardeloze schuldbekentenis.

De vrouwen deden er natuurlijk alles aan om dit te voorkomen. Stevige vechtpartijen waren dan ook niet ongewoon. In het begin van de achttiende eeuw was er ene Catharina Mulder oftewel Noorse Catrij actief. Zij zat onder de littekens en haar collega Evelien Everts had tijdens een gevecht een groot gedeelte van haar gebit verloren. De vrouwen vochten vaak zelf en lieten zich assisteren door een echtgenoot, als die niet op zee zat, of andere potige familieleden. 

Van Lappenburg, de echtgenoot van genoemde Catharina Mulder, was bekend dat hij twee geladen pistolen in het logement had. Hij kwam zeer regelmatig in aanraking met de schout. Samen met zijn vrouw, haar zus en hun eenogige dienstmeid terroriseerde hij de hele buurt.
De volkshouderijen bevonden zich natuurlijk in het havengebied. Rond 1720 bevond zich een tiental van deze logementen in de Dijkstraat, de Breedstraat, de Zuider Havendijk en de Kabeljouwstraat (halverwege de huidige Spoorstraat en de Drommedaris).