Fine Tuning и переиспользование модели
Как оказалось, сети обученные на данных ImageNet можно переиспользовать для других задач компьютерного зрения. Например, у нас задача отличать кошку от собаки. Вам не надо создавать свою модель CatDogVGG, искать миллионы картинок и обучать с нуля сеть. Всё куда проще! Вы берёте предобученную модель VGG, срезаете последние полносвязные слои нейронов, отвечающие за финальную классификацию(да, так можно), оставляя только внутренние 4096 нейронов, которые соединяете со своими 2 нейрона для выхода кошка-собака. Получается, что вам нужно будет только дообучить модель этим 2*4096 связям, что делается легко и быстро.
Какой физический смысл в срезании последнего слоя сети и подстановки нового? Оказывается, что все слои свертки внутри себя заключают способность “понимать” изображение. А поскольку обучение происходило на тысяче разных классов, то и обобщающая способность этих слоев достаточно сильная. В итоге внешние 4096 нейронов на самом деле выдают вектор характеристик(признаков) любого изображения в целом. Поэтому для того чтобы проходила наша классификация, отличная от изначальной, нам остается дообучить нейросеть только и только переводить этот 4096-мерный вектор в наш вектор предсказаний принадлежности классов, не меняя существующую глубокую свёрточную сеть.
Подобный финт можно провернуть не только с VGG, но и с другими свёрточными архитектурами распознавания изображений. Для этой цели в библиотеке Keras есть даже специальные конструкты, которые вы можете изучить это в разделе keras-applications. Распознавание образов еще никогда не было таким простым!
Все говорят о сделках с NFT на сотни тысяч и миллионы долларов. Что там продают?
С помощью NFT можно продать почти любой виртуальный объект — изображения, музыку, тексты, 3D-модели. Но чаще всего речь идет об объектах цифрового (или оцифрованного) искусства.
К примеру, 11 марта 2021 года JPG-файл со склеенными вместе пятью тысячами картин художника Beeple пустили с молотка за $69,3 млн в эфирах, то есть в криптовалюте Ethereum. Коллаж называется Everydays: The First 5000 Days. В него вошли все картины Beeple за последние 13 лет.
Аукционный дом Christie’s продал работу художника именно в виде NFT. За 255-летнюю историю площадки это первый такой случай и одновременно — самая крупная сделка в истории на рынке NFT.
Участие Christie’s и итоговая сумма сделки подогрели хайп вокруг нового инструмента. На следующий день после аукциона Christie’s российский художник Покрас Лампас сделал свой NFT. Оригинал работы был написан на холсте, затем оцифрован и спроецирован на бетонные сооружения Чиркейской ГЭС — крупнейшей гидроэлектростанции Северного Кавказа. После этого художник перевел фото проекции в токен и выставил на продажу.
NFT Покраса Лампаса купили за $29 тыс. По итогам аукциона художник заявил, что новый формат позволяет поддерживать авторские проекты и развивать криптоарт-комьюнити.
Но, кажется, не все художники воспринимают NFT всерьез. В начале марта блокчейн-компания Injective Protocol купила за $95 тыс. трафарет Бэнкси под названием Morons (White) и во время прямой трансляции сожгла эту работу. Затем ее превратили в NFT и выставили на продажу.
Церемония сожжения картины Morons (White)
Работа высмеивает коллекционеров, тратящих большие деньги на предметы искусства. На трафарете изображен аукцион: его участники борются за картину с надписью I canʼt believe you morons actually buy this shit («Не верится, что вы, кретины, реально скупаете это дерьмо»).
Илон Маск тоже не мог остаться в стороне от шумихи. Он спродюсировал трек про NFT и объявил в своем Twitter, что собирается его продать как токен.
ACDSee Photo Studio
Платформы: Windows, macOS.
Цена: от 59,99 доллара.
Крайне популярный и проверенный временем каталогизатор фотографий. Возможностей для упорядочивания коллекции снимков очень много: и категории (как предустановленные, так и создаваемые вручную), и рейтинги, и метки, ключевые слова и геотеги. С непривычки во всех фичах ACDSee можно даже запутаться.
Пакетная обработка, сортировка и переименование файлов позволит вам навести порядок даже в самом громадном фотоархиве за несколько минут. Есть здесь и продвинутый инструментарий для редактирования: кадрирование, ретушь, устранение недочётов и шума, фильтры.
ACDSee Photo Studio →
Для тех, кто в танке
- Инвертированный индекс — сопоставляет каждому слову набор документов, в которых оно встречается, в отличие от прямого индекса, который документу сопоставляет набор слов. Практически все движки полнотекстового поиска используют именно инвертированные индексы, ибо искать по ним быстро, хотя обновлять тяжелее, чем прямые.
- Стоп-слова — список очень часто употребляемых слов (предлогов-союзов и т. п.), индексировать которые нет смысла, потому что значения они содержат мало и встречаются почти везде.
- Позиционная информация — позиции слов в документах, сохраняемые в индексе, для дальнейшего поиска фраз или просто слов, расположенных друг от друга не дальше, чем на …
- Префиксный поиск (слов*) — поиск слов, начинающихся на заданное (например, кошк*). Иногда называется Wildcard-поиском, но строго говоря, Wildcard-поиск — это поиск слов, начинающихся на заданный префикс и оканчивающихся на заданный суффикс (например, ко*а — найдёт и слово «кошка», и «коала»).
- Багзилла — open-source баг-трекер, используемый у нас в компании, на содержимом которого тестировался поиск.
Relevanssi
Как следует из имени этого инструмента, в основу его работы положена релевантность при выдаче поисковых результатов. Также у него есть множество настроек и опций, что поможет улучшить работу поискового механизма на вашем сайте.
Ключевые параметры:
- Сортировка результатов поисковой выдачи по релевантности, а не по дате.
- Совпадение и выдача частей слов, если нет полных совпадений.
- Поиск по документам на основе поискового термина и запроса «и» / «или».
- Поиск по цитатам, фразам, создание настраиваемых исключений из поисковой выдачи.
- Подсветка поисковых терминов при просмотре результатов.
- Поиск по тегам, категориям и комментариям.
Google Lens
Технология этого сервиса Google основана на искусственном интеллекте. С его помощью можно найти качественное изображение объекта, который вы видите прямо перед собой. Для этого вам нужно будет навести камеру на объект, и приложение начнет работу по его распознаванию и поиску.
Нам не всегда нужно изображение объекта просто для того, чтобы он был, потому что в большинстве случаев вы можете просто сфотографировать, если ситуация позволяет. Однако возможность распознавания и поиска актуальна в тех случаях, когда вам нужно больше узнать об объекте, который вы видите перед собой. Например, если вы видели симпатичный предмет одежды, но не знаете его характеристик, или вы хотите знать, какой цветок у вас прямо сейчас перед ним. А этот сервис Google пригодится тем, кто хочет больше узнать об искусстве и различных арт-объектах. Например, он предоставит вам комплексную экскурсию по любому экспонату.
Ищем на компьютере с помощью сервисов и плагинов
Есть только одна фотография, но есть ли еще много вопросов? Я научу вас находить любую информацию по фотографии. Все, что вам нужно, это интернет, оригинальное фото и пара минут свободного времени.
Перейдите в Google Images и щелкните значок камеры в строке.
Во всплывающем окне выберите «Загрузить файл» или «Указать ссылку».
Выбираем файл с компьютера. Щелкните «Открыть”.
Добавьте ссылку, если изображение есть в Интернете.
Посмотрим на результаты. Вверху находится список сайтов, внизу изображения. Вы можете добавить слова для поиска, такие как «гора», в текстовое поле рядом с изображением, которое вы используете”.
Google также собрал фото по образцу.
Я искал название города по этой фотографии. Он дал только название горы, хотя мог показать местоположение и дать подробную информацию.
Яндекс
Откройте главную страницу Яндекс. Установите флажок рядом с полем поиска «Картинки”.
Щелкните значок камеры справа от кнопки «Найти”.
Сверху появится линия. Слева нужно нажать на «Выбрать файл», если изображение есть на устройстве или справа введите ссылку, если вы только что видели его в Интернете. Щелкните «Найти”.
Рассмотрение результатов. Если вы хотите загрузить исходную фотографию, доступные разрешения показаны справа. Вы можете загрузить любые похожие фото ниже.
В Яндекс. Национальная поисковая система предоставила не только название горы, но и город в Канаде, где она расположена. Google этим похвастаться не мог.
Англоязычный сервис TinEye
TinEye — американская служба поиска изображений. Вы не узнаете название изображенного объекта или человека, но найдете оригинал в лучшем качестве или того, кто использует фотоработу без вашего ведома. Сервис проиндексировал 17 миллиардов изображений, так что есть большие шансы найти ваше.
Способ 1. Перейти на главную страницу TinEye. Щелкните стрелку, чтобы найти информацию об изображении на вашем компьютере.
Выберите нужное изображение в папке и нажмите кнопку «Открыть». Для наглядности результата я сфотографировал Лермонтова.
Появится список с похожими изображениями. Чтобы скачать нужный файл, нужно в описании кликнуть по названию.
Способ 2. Введите ссылку на изображение в следующей строке и щелкните значок лупы справа.
Теперь вы можете сохранить любой вариант результатов или посмотреть, кто на фото.
Плагин PhotoTracker Lite
Хотите больше информации, но длительное время пользуетесь каждой услугой отдельно? Затем добавьте плагин PhotoTracker Lite в свой браузер. Он будет искать одновременно с 5 сайтов. Он покажет результаты в новой вкладке.
Вам необходимо загрузить надстройку PhotoTracker Lite для своего браузера.
В новом окне вас попросят подтвердить установку. Просто сделай это.
Когда плагин будет добавлен в браузер, появится заголовок. Чтобы активировать его, нажмите на значок (вверху справа для Google Chrome и Яндекс.Браузера).
Настроим PhotoTracker Lite. Включите все сайты для полноты. Включен — ползунок синий, выключен — красный.
Переходим на страницу с желаемым изображением. Нам попался скриншот из аниме. Имя узнать очень интересно. Щелкните правой кнопкой мыши, чтобы просмотреть меню. Выбираем «Искать это изображение”.
Результаты 4 поисковых систем отображаются в разных вкладках. Оцениваем и делаем выводы.
Плюсы: Не нужно бегать по разным сайтам, плагин ищет везде.
Недостаток: страницы не загружаются из-за низкой скорости интернета, вам придется добавлять ссылку вручную.
Технологии ближайшего будущего
15. Плазменное силовое поле, защищающее автомобили от несчастных случаев и столкновений
Компания Boeing запатентовали метод создания плазменного поля, быстро нагревая воздух, чтобы быстро поглощать ударные волны.
Силовое поле можно будет генерировать с помощью лазеров или микроволнового излучения. Созданная плазма представляет собой воздух, нагретый до более высокой температуры, чем окружающий воздух, с другой плотностью и составом. Компания считает, что оно сможет отражать и поглощать энергию, генерируемую взрывом, защищая тех, кто находится внутри поля.
Если технологию удастся воплотить в жизнь, это станет революционным развитием в военной области.
16. Плавучие города
Плавающий экополоис, названный Lilypad, был предложен архитектором Винсентом Каллеба (Vincent Callebaut) для будущих климатических беженцев в качестве долговременного решения проблемы повышения уровня моря. Город может вместить 50 000 людей, используя возобновляемые источники энергии.
Плавающая структура состоит из трех «лепестков» и трех гор, которые окружают искусственную лагуну в центре, собирающую и очищающую воду.
Она использует энергию ветра, Солнца, приливных сил и других альтернативных источников энергии и даже собирает дождевую воду.
17. 3D печать органов для операций по пересадке
Ученые работают над технологией распечатывания жизнеспособных органов, которые можно будет использовать в качестве донорских при операциях.
Технология 3D печати уже претерпела большие изменения. Она использует картриджи, заполненные суспензией из живых клеток, и умным гелем, который придает структуру и создает биологическую ткань. При распечатывании гель охлаждают и вымывают, оставляя только клетки.
Ученые работают над решением сложностей, связанных с созданием органов, которые могли бы имитировать функции нормально выращенных органов в теле человека. Как только эти трудности будут преодолены, людям уже не придется беспокоиться об ожидании доноров.
18. Бионические насекомые
Ученые разрабатывают бионические средства для насекомых, благодаря которым ими можно будет управлять и направлять в труднодоступные места, чтобы найти людей, ставших жертвами землетрясений и других стихийных бедствий.
Например, усики тараканов присоединяют к небольшим радиоприемникам, прикрепленным на спине. Насекомые используют усики, как слепые люди используют трость, чтобы нащупать, что находится перед ними.
Исследователи контролируют движения насекомых, отправляя небольшие электрические импульсы к усикам и направляя их.
19. Вы сможете записывать свои сны
Ученым удалось преобразовать видеоролики YouTube, сканируя визуальные центры мозга человека, который их смотрит. В будущем технология будет достаточно продвинутой, чтобы записывать сны.
Мозг трех членов команды, участвовавших в проекте, сканировали с помощью функциональной магнитно-резонансной томографии, когда они смотрели видеоклипы на YouTube. Затем исследователи интерпретировали данные с помощью математической модели, которая служила своего рода словарем мозга. Словарь позже воссоздавал то, что видели участники, сканируя случайные клипы и подбирая те, которые соответствовали активизации мозговой активности.
Хотя результат оказался не таким четким, в будущем ученые надеются улучшить технологию.
20. Поиск внеземной жизни в космосе
В Китае завершается строительство самого крупного в мире радиотелескопа «FAST» с рефлектором площадью в 30 футбольных полей, состоящим из 4450 панелей для наблюдения за внеземной жизнью.
Специалисты собирают гигантский телескоп в провинции Гуйчжоу в Китае, который превосходит обсерваторию Аресибо Пуэрто-Рико диаметром 300 метров. У китайского телескопа диаметр — 500 метров и периметр — 1,6 километров, и требуется 40 минут, чтобы обойти его.
Согласно исследователям такой телескоп улучшит наши возможности наблюдения за космосом.
Бонус: Жизнь до 1000 лет
Кембриджский геронтолог Обри де Грей (Aubrey de Grey) считает, что если технологии продолжат развиваться с такой же скоростью, вполне возможно, что уже появился человек, который доживет до 1000 лет.
Исследователь работает над терапией, которая будет убивать клетки, потерявшие способность делиться, позволяя здоровым клеткам размножаться и восстанавливаться. Терапия позволит 60-летним оставаться такими еще 30 лет, пока им не исполнится 90 лет. Процесс будут повторять до 120 или 150 лет и так далее.
Согласно М-ру Грею этот метод может стать жизнеспособным уже в течение 6-8 лет. Так что вполне возможно, что в будущем человек все-таки найдет эликсир вечной молодости.
Ecosia
Метапоисковик Ecosia не нацелен на приватность или отсутствие таргетированной рекламы. Совсем наоборот — реклама в нем является самым главными компонентом. Все дело в том, что каждый клик на баннер или персонализированное предложение имеет экологическую ценность. Сервис Ecosia с самого начала был задуман как благотворительный проект, 80 % дохода которого направляются на посадку деревьев. Это основная цель, преследуемая создателями сервиса. По состоянию на начало 2017 года при помощи Ecosia было высажено свыше 6 миллионов деревьев на территории лесов Бразилии. Пользователям для поддержки столь благого дела нужно просто пользоваться поисковиком, как и любым другим. Результаты выдачи в нем, как и реклама, поставляются Bing и Yahoo! Иными словами, за качество работы алгоритмов сортировки и фильтрации контента переживать не стоит.
Рейтинг ТОП 10 поисковиков
В соответствии с рейтингом 10 лучших поисковых систем мира можно выделить наиболее популярные механизмы, предоставляющие лучшие условия для быстрого поиска полезной информации.
1. Поиск Google
— ведущая поисковая система мира, занимающая лидирующие позиции в большинстве государств. За сутки регистрируется более 50 млн запросов. Гугл ищет информацию на 191 языке мира.
Компания Google была создана на территории США (1998 г.) и за короткий период стала одной из крупнейших мировых транснациональных IT корпораций.
2. Поиск bing
Bing — простая и функциональная программа поиска, позволяющая осуществлять поиск не только по словам, но и по фотографиям, медиа или новостям.
Bing была разработана специалистами Microsoft, анонсировавших ее в 2009 г. На сегодняшний день является поисковиком по умолчанию для браузера Internet Explorer, а так же является поиском для всех устройств на базе Windows (смартфонов, ноутбуков, приставок и т.д.). Наибольшее признание получила в США, Германии и Китае.
3. Поиск Yahoo!
Yahoo! — долгое время удерживал лидирующую позицию рейтинга лучших поисковых систем Земли, пока не был вытеснен Google. Основная часть пользователей — жители США и Канады.
Yahoo! является первым коммерчески успешным поисковиком мира: он был зарегистрирован в США (1994 г.) и одним из первых начал существовать как коммерческая организация.
4. Поиск Baidu
Baidu — это Китайский поисковик, вошедший в рейтинг мировых поисковых систем благодаря огромной аудитории пользователей из КНР (95% от всех).
Поиска был разработан в Китае (2000 г). На Baidu доступна электронная энциклопедия, являющаяся китайским аналогом Википедии.
5. Поиск Yandex
Яндекс — еще один локальный поисковик с одноименным браузером, обеспечивший себе высокую позицию списка за счет значительной аудитории из России, стран СНГ и ряде европейских стран. Является одной из наиболее популярных программ в сегменте русскоязычного поиска.
Yandex — продукт работы одноименной российской IT компании, на рынке с 2006 г. Кроме развития поиска компания активно развивает сервисы, Яндекс Такси, Яндекс Еда, Яндекс Драйв, что позволяет ей быть коммерчески успешной.
6. Поиск DuckDuckGo
Популярность DuckDuckGo связана с высоким уровнем ее конфиденциальности: поисковая программа не фиксирует историю поиска и запросов. Распространена в странах Европы и Америки и была разработана программистами из США (2008 г.).
7. Поиск Sogou
Sogou — китайский метапоисковик, обеспечивший себе лидирующие позиции рейтинга 10 поисковых систем благодаря большому количеству пользователей из КНР. На рынке с 2008 года.
8. Поиск Naver
Naver — южно-корейский поисковик, популярный у пользователей Юго-Восточной и Восточной Азии. Является первым метапоисковиком, собирающим все результаты запроса на одной странице.
9. Поиск Shenma
Девятый в нашем рейтинге и занимающая третью позицию списка по популярности у пользователей Китая, Shenma представляет первый мобильный браузер и поисковик Китая, вы устанавливаете приложение на смартфон и ищете все что необходимо. Запатентована и доступна для пользователей с 2014 года.
10. Поиск Ecosia
Ecosia — является продуктом труда немецких программистов, выпущенным в 2009 году. Особенность Ecosia в ее экологической функции: 80% прибыли направляется на финансирование международного проекта по озеленению.
Программа получила особую поддержку у пользователей Западной Европы, США
Рейтинг поисковых систем в разрезе отдельных стран меняется, в том числе и первая позиция списка. Для ряда государств характерны сильные позиции локальных систем поиска.
Векторизация базы фотографий
Как мы уже знаем, для векторизации нам нужно отрезать один из последних слоев предобученной нейросети. Это операция распространенная, поэтому в библиотеке Keras нам уже доступны из коробки, во-первых, сама и, во-вторых, возможность не включать последний слой. Это делается следующим образом:
from keras.applications import VGG19model = VGG19(weights='imagenet', include_top=False)
Для более тонкой настройки можно указать имя определенного слоя. Как найти имя слоя — это отдельный анекдот, поэтому я смотрел в модели.
from keras.applications import VGG19from keras.engine import Modelbm = VGG19(weights='imagenet')model = (inputs=bm.input, outputs=bm.get_layer('fc1').output)
После того как у вас загружена модель, она, кстати, будет реально загружать из интернета веса, можно конвертировать все изображения в вектора с помощью метода , что логично, так как мы “предсказываем” этот вектор.
from keras.preprocessing import imagefrom keras.applications.vgg19 import preprocess_inputimg = image.load_img(path, target_size=(224, 224)) # чтение из файлаx = image.(img) # сырое изображения в векторx = np.expand_dims(x, axis=0) # превращаем в вектор-строку (2-dims)x = (x) # библиотечная подготовка изображенияvec = model.predict(x).ravel()# ... PROFIT!
Теперь всё тайное стало явью, и осталось дело техники — итерироваться по всем изображениям и для каждого из него произвести векторизацию
Потом сохранить эти вектора в БД или csv файла, не важно. Это мы оставим за кулисами
⇡Zoner Photo Studio Free 18
- Разработчик: Zoner, Inc.
- Операционная система: Windows
- Распространение: бесплатно
- Русский интерфейс: есть
Мы намеренно разместили Zoner Photo Studio в конце обзора, оставив это приложение на десерт. Несмотря на то, что программа является младшим братом профессиональной версии Zoner Photo Studio, в ней есть все современные важные функции для упорядочивания фотоархива, а также бесплатная загрузка на собственный фотохостинг. От платной версии Zoner Photo Studio Free отличается тем, что в ней отсутствуют расширенные средства для редактирования изображений: маски, фильтры, градиенты, инструменты для выделения, для удаления шума, добавления рамок, коррекции перспективы, работы с HDR, а также инструменты для захвата экрана, пакетной обработки, создания видео слайд-шоу. Однако список того, что в программе есть, гораздо длиннее списка отсутствующих опций.
Zoner Photo Studio Free может работать и как простое средство для просмотра фотографий, хранящихся на диске или на любых носителях, и как каталогизатор. Для того чтобы создать базу фотоснимков, нужно импортировать их в программу из любой папки, с карты памяти и т. д. Фотографии, хранящиеся в базе, могут отображаться в виде календаря, по папкам или по ключевым словам. Режимов просмотра очень много: от такого, в котором основную часть окна занимает одно изображение, и до «плиток» (с возможностью гибкой настройки размера эскизов). Кроме этого, можно отображать несколько фотографий рядом, а также просматривать на карте снимки, помеченные геотегами.
Сортировка изображений тоже на высоте: фотографии могут быть отсортированы по названию, оценке, дате создания или последнего изменения. Есть также огромное количество расширенных критериев, задействующих все данные EXIF. Кроме этого, программа может отдельно показывать изображения RAW и JPEG, отдавая предпочтение или первым, или вторым.
Справа от области просмотра есть информационная панель, на которой можно легко редактировать все данные о фотоснимке. Так, есть возможность установить цветовую метку, добавить рейтинг, заголовок, описание, ключевые слова, изменить информацию EXIF.
Zoner Photo Studio Free не работает со сторонними облачными сервисами, однако предлагает неограниченное пространство для хранения фотоснимков на собственном фотохостинге Zonerama. После создания учетной записи и галереи на панели навигации появляется пункт Zonerama с двумя папками: «Общие альбомы» и «Скрытые альбомы». Несложно догадаться, что все фотографии, отправленные в первую, становятся общедоступными, а снимки, загруженные во вторую папку, могут быть просмотрены только владельцем. Для загрузки фотографий достаточно просто выделить их и перенести в нужный альбом мышью.
При загрузке можно выбрать параметры сжатия или же сохранить в облаке оригиналы. Вне зависимости от выбранных настроек, пространство на сервере не ограничивается. Каждому пользователю выделяется простой адрес типа myphotos.zonerama.com, который легко запомнить и которым легко поделиться.
Несмотря на то, что возможности редактирования ограничены по сравнению с профессиональной версией Zoner Photo Studio, для бесплатной программы их набор достаточно внушителен. Можно не только изменять разрешение изображения и размер холста, но и добавлять текст, помещать одно изображение на другое, добавлять некоторые эффекты, выполнять цветокоррекцию, улучшать резкость, работать с выдержкой и балансом белого.
Поиск изображений
Самый распространённый способ найти какую-то картинку — это, конечно же, воспользоваться Google Images. А как быть, если вы всё-таки не смогли найти подходящее изображение привычными средствами? Можно, к примеру, попробовать специализированный сервис Picsearch, в котором, как утверждают его создатели, проиндексировано больше трёх миллиардов цифровых картинок.
У Picsearch есть не только многоязычный пользовательский интерфейс, но и полноценный многоязычный поиск, а также несколько полезных фильтров, включая поиск только чёрно-белых или цветных изображений, картинок с преобладанием какого-то конкретного цвета, поиск «обоев» для рабочего стола, а также лиц или анимированных изображений.
Гораздо меньшим объёмом заявленной проиндексированной базы может похвастаться поисковая система Everystockphoto: она содержит более 20 миллионов изображений, хранящихся на онлайновых фотосайтах, включая Flickr, Fotolia и Wikimedia Commons. Тем не менее результаты её работы весьма впечатляют. Большинство из найденных снимков можно использовать бесплатно, но с условием указания имени фотографа или правообладателя.
