Wydawnictwo „Toy” miało się pierwotnie ukazać w 2001 roku. Na płytę miały składać się rekonstrukcje starszych nagrań wokalisty, jak i kilka zupełnie nowych piosenek. Gotowe było wszystko – szata graficzna, strona produkcyjna… Jednak wytwórnia Virgin Records odmówiła publikacji krążka, tłumacząc się brakiem praw do niektórych utworów.

Pod koniec 2001 roku Bowie opuścił Virgin i otworzył własny label, ISO. To tam w 2002 roku ukazał się album „Heathen”, na którym znalazło się kilka utworów przeznaczonych na „Toy”.