Forud for europæernes ankomst var New York hjemsted for to magtfulde indianerstammer, algonquierne og irokeserne. Udforskningen blev foretaget af mænd fra flere lande. Giovanni da Verrazano, en italiener, der arbejdede for Frankrig, og Henry Hudson, en englænder, der arbejdede for hollænderne, besøgte kysten. Hudson sejlede op ad den flod, der senere skulle få navnet Hudson, hvilket gav hollænderne krav på et betydeligt område. Samuel de Champlain udforskede fra nord, hvilket gav Frankrig sit eget krav på et område.

Hollanderne etablerede de første hvide bosættelser, begyndende med Fort Orange (nu Albany). I 1625 grundlagde hollandske bosættere New Amsterdam på Manhattan Island. Året efter købte deres guvernør, Peter Minuit, hele øen af indianerne for ca. 24 dollars. Hollænderne tilføjede nye bosættelser op ad Hudson, mens nye bosættere ankom fra Massachusetts og Connecticut og etablerede samfund på Long Island.

Kong Charles II af England besluttede at tvinge hollænderne ud og sendte en flåde af skibe til New Amsterdam. Minuit overgav byen uden kamp. I henhold til Breda-traktaten fra 1667 fik englænderne hele New Netherland, som de omdøbte til New York. I mellemtiden pressede franskmændene på fra nord. Mellem 1689 og 1763 blev der ført en række krige, der samlet set er kendt som den franske og indianske krig. Paristraktaten i 1763 afsluttede konflikten permanent ved at tvinge Frankrig til at opgive næsten hele sit territorium i Nordamerika.

New York City var besat af briterne i en stor del af uafhængighedskrigen, og byen havde mange loyalister. Omkring 30.000 mennesker forlod staten efter krigens afslutning. New York City var den nationale hovedstad fra 1785 til 1790, og George Washington blev indviet som den første præsident i Federal Hall i New York City i 1789.

New York voksede hurtigt og afløste i 1820 Virginia som den mest folkerige stat i nationen. Den beholdt den position, indtil den blev overhalet af Californien i 1970. Erie-kanalen skabte yderligere velstand i det nordlige New York og gav New York City en fordel i forhold til alle andre østlige havnebyer.

New York oprettede et Board of Regents i 1784 og gav det mandat til at oprette sekundære skoler og colleges i staten. I 1856 blev et udvalg bestående af de fem udnævnt til at undersøge muligheden for at oprette et statsuniversitet i verdensklasse. Året efter afgav den en positiv rapport, men State University of New York blev først oprettet i 1948.Under borgerkrigen støttede New York generelt Unionens sag, men med forbehold. I 1863 udbrød der optøjer over indkaldelsen af mænd til hæren. I løbet af en periode på fire dage blev omkring 1.000 mennesker dræbt eller såret, og der skete materielle skader for mere end 1 million dollars.

New York State har haft fire forfatninger. Den første blev udarbejdet på et folkekonvent, der blev afholdt i White Plains i 1776 og vedtaget i 1778. Den forblev i kraft i 45 år, indtil den blev afløst af en anden i 1822. I 1826 blev ejendomsbetingelser for at kunne stemme afskaffet. Den tredje forfatning, der blev vedtaget i 1846, markerede en reaktion mod centraliseret magt. Den fjerde og nuværende forfatning stammer fra 1894.

Se New York.