Město bylo založeno v roce 1545 jako hornické město v nově vzniklém místokrálovství Peru. Po roce 1608 v dolech začali pracovat afričtí otroci. V roce 1776 bylo Potosí i celé tzv. Horní Peru přičleněno k místokrálovství Río de la Plata se sídlem v Buenos Aires. V roce 1825 se stalo Potosí součástí nezávislé Bolívie s asi 8 tisíci obyvateli. Před úplným vylidněním město zachránily nové cínové doly v polovině 19. století a turismus na konci 20. století. V roce 1987 bylo město zapsáno na seznam světového dědictví UNESCO a v roce 2014 na seznam světového dědictví v ohrožení.