Już w młodości frapowała Ficowskiego kultura wędrownych taborów, jako „coś, co jest tuż-tuż i ukrywa prawdę o sobie”. Zaczął studiować ją podczas okupacji, kupując w antykwariatach książki i słowniki. Od pierwszych lat powojennych zbierał informacje o zagładzie Cyganów.

Na przełomie lat 40. i 50. podjął wędrówki z taborem, także po to, by umknąć UB. Zetknął się wtedy z Bronisławą Wajs „Papuszą”, cygańską poetką, która umiała (co w jej kulturze było wyjątkiem) utrwalać na piśmie swoje wiersze. Ich przekłady, które zaczął wkrótce publikować, stały się, także dzięki wsparciu Tuwima, wydarzeniem literackim. Na Papuszę ściągnęły jednak klątwę współrodaków za rzekomą zdradę cygańskich tajemnic. Choć poetka przypłaciła ją zdrowiem, przyjaźń obojga przetrwała. Ficowski czuł się jednak współodpowiedzialny za „minioną klęskę” Papuszy, co wyznał w zbiorze Demony cudzego strachu, zawierającym szkice o Cyganach. Ich wróżby opisał w książce Pod berłem króla pikowego.

Za pionierską uznano jego pracę, która, począwszy od drugiego wydania, nosi tytuł Cyganie na polskich drogach. W roku 1949 pisarz jako pierwszy Polak został członkiem brytyjskiego Gypsy Lore Society.

Inspiracjom cygańskim zawdzięczał niejeden ze swoich tekstów do piosenek (z najbardziej znaną Jadą wozy kolorowe) i tłumaczony na wiele języków zbiór baśni Gałązka z Drzewa Słońca.
O losie taborów mówią jego wiersze Cygańska droga i Śmierć jednorożca, o dramacie poetki – wiersz Papusza, o zagładzie Cyganów – Modlitwa do świętej wszy.