CookGAN: Synteza obrazu posiłków ze składników

CookGAN przypomina mi nieco telewizyjne programy kucharskie. Nie umiem się ekscytować turniejami młodych adeptów kandydujących na szefów kuchni. No ale teraz przechodzimy na inny poziom. Na poziom sztucznej inteligencji.

Biorąc pod uwagę listę składników, tenże algorytm próbuje wygenerować obraz naczynia zawierającego te składniki. Te badania mogą właściwie okazać się pomocne w świecie „obliczeniowej analizy żywności”, w której algorytmy uczą się związków między składnikami a gotową żywnością, aby przewidzieć liczbę kalorii na podstawie tylko zdjęcia posiłku lub przepisów kulinarnych wygenerowanych komputerowo.

Poprzednie prace nad syntezą obrazów z tekstu zwykle polegały na wstępnie wyszkolonych modelach tekstowych w celu wyodrębnienia funkcji tekstowych, a następnie generatywnych sieci neuronowych (GAN) mających na celu generowanie realistycznych obrazów uwarunkowanych funkcjami tekstowymi.

Prace te koncentrują się głównie na generowaniu przestrzennie zwartych i dobrze zdefiniowanych kategorii obiektów, takich jak ptaki lub kwiaty, ale obrazy posiłków są znacznie bardziej złożone, składające się z wielu składników, których wygląd i właściwości przestrzenne są dalej modyfikowane metodami gotowania.