Скриншот вместо ручного ввода: еда и тренировки распознаются сами

Диалог

1. Марина

   

   Можешь это занести? Руками каждый раз лень.

2. Ассистент

   Распознал обед. Вот что вижу — проверь, прежде чем добавлю:

3. Марина

   Всё верно, добавляй.

4. Ассистент

   Добавил три позиции как обед: 981 ккал — это 59% дневного бюджета в 1650. Белка 61 г из 130 — хорошо. Жиров 43 г из 55 на день ушло за один приём, так что ужин лучше собрать на курице с овощами, без масла.

5. Марина

   

   И тренировку тоже.

6. Ассистент

   Вижу кардио: беговая дорожка, 976 м, 20 минут 40 секунд, 213 активных ккал, средний пульс 136. Подходы и веса с часов не приходят — для силовых их лучше вносить руками или из плана. Записать как тренировку «кардио»?

7. Марина

   Да. И ещё велотренажёр был после, скину.

8. Ассистент

   Записал. Кидай — сложу обе в один день, на графике тренировок они появятся как две кардио-сессии.

Что распознаётся хорошо, а что нет

Хорошо: экраны с цифрами. Развёрнутый приём пищи в счётчике калорий, где видны названия продуктов, вес и калорийность. Экран итогов тренировки из приложения часов: тип активности, время, дистанция, калории, пульс.

Плохо или никак:

• сводка дня — если приёмы свёрнуты и видны только итоги «завтрак, обед, ужин», распознавать нечего: из суммы группы нельзя восстановить, что вы съели. Ассистент так и скажет — разверните приём и пришлите список позиций;
• позиции, где вес не в граммах («1 чашка», «1 порция») — такая строка пропускается, её добавляют руками;
• фотография экрана под углом и скриншоты, пережатые мессенджером до мыла — цифры расплываются и читаются неверно;
• фото еды на тарелке — не умеем и не обещаем: вес порции и жирность по фото не определить.

Именно поэтому в интерфейсе есть шаг подтверждения. Ничего не пишется автоматически: вы видите кандидатов, правите их и только потом нажимаете «Добавить».

Что происходит со скриншотом

Файл нужен только для одного запроса распознавания. Он не сохраняется — ни в базе, ни на диске; в базу попадают числа, которые вы подтвердили, с пометкой, что запись пришла из распознавания. Размер до 6 МБ, картинка уменьшается ещё в браузере, до отправки.

Распознаёт наш собственный сервис на нашем сервере. Подробнее о том, какие данные обрабатываются и как их удалить, — в политике обработки персональных данных и в документе о данных о здоровье.

Скриншоты в примере выше — из сторонних приложений, показаны для иллюстрации совместимости. Мы с их разработчиками не аффилированы и их API не используем: читается картинка, которую вы прислали.

Другие возможности