Алгоритм IM2GPS разработали аспиранты ВТ Джеймс Хэйс и Алексей Эфрос, ассистенты профессора компьютерных наук и робототехники. Он не пытается сканировать фотографии на наличие признаков местоположения, таких как тип одежды, язык на уличных знаках или особые виды растительности, как поступил бы человек. Скорее всего, он анализирует композицию фотографии, определяет, как распределяются текстура и цвета и записывает число и определение линий на снимке. Затем он просматривает Flickr на наличие сходных фотографий.
По словам учёных, не требуется, чтобы компьютер сказал им, что изображено на фото, напротив, требуется найти другие фотографии, которые выглядят похоже. Исследователи не ожидали, насколько действенным окажется данный подход. Кто бы смог подумать, что общее сходство внешнего вида фотографии настолько пересечется с географической близостью.
Хейс и Эфрос выяснили, что могут точно географически расположить изображения в пределах 200 метров – их тесты показали16 процентов из более 200 фотографий, что почти в 30 раз лучше, чем случай. И даже если их алгоритм мог определить конкретное нахождение, в основном ему удавалось приблизить вероятность, как например, определив местность как пляж или пустыню.
Разработчики проекта уверены, несмотря на то, что определение географической информации со снимков сложный процесс, эта проблема вполне под силу компьютеру.
Такой метод найдет широкое применение не только в географии, но и в идентификации объектов: если компьютер сможет определить, что снимок вероятнее всего был сделан в Японии, он сможет определить, как выглядит, к примеру, автомобиль такси для данной местности.
Алгоритм IM2GPS с лёгкостью определил местоположение таких фотографий как Собор Парижской Богоматери в Париже. Что удивительно, он определил узкую улочку в Барселоне более типичной для деревень Средиземноморья, чем для переулков Америки.
Но случались и странности. Уникальный архитектурный объект Сиднейский оперный театр (Sydney Opera House) показался компьютеру похожим на отель на реке Миссисипи или на Лондонский мост. Снимок Эйфелевой башни в сумерках совпал с другими её фотографиями, а так же со Статуей Свободы в Нью-Йорке, так же снятой в сумерках.
Основная причина такой путаницы, как утверждает Хэйс, в том, что алгоритм не разработан для узнавания отдельных объектов настолько, насколько он способен определять географические места.