Тридцать дней система смотрела восемь камер вокруг дома без выходных. Она перестала шуметь, научилась называть людей, машины и собак по именам и стала просить помощи у человека в два раза реже.
появлений система называет по имени без подсказки человека.
Система сама называет 82% появлений. В первую неделю было 44%.
Ручной разметки в 4,6 раза меньше, чем в пиковую неделю: 129 подсказок в день против 595.
По лицу ошибается 1 раз из 42. Ложные тревоги на Двери упали с 64% до 13%.
Машины по месту в кадре угадываются в 38% случаев. Это самое слабое звено распознавания.
Mac Mini на пределе: свободно 164 МБ памяти, на диск пишется около 250 ГБ в сутки.
Две исследовательские ветки закрыты: марку машины и мелкие лица не вытянуть софтом с текущих камер.
Восемь камер в доме и во дворе. Нейросеть на каждом кадре ищет людей, машины и животных и отмечает их рамкой.
Сравнивает лицо, силуэт и цвет с эталонами знакомых. Уверена — пишет имя. Не уверена — спрашивает.
Один клик: «верно», «это не он» или «ложная тревога». Каждая поправка становится новым эталоном или примером ошибки.
В начале месяца система записывала по 500–700 находок в сутки, и большая часть была мусором: тени, отражения, один и тот же велосипед в мастерской. После нескольких исправлений поток успокоился до 100–300 находок в день.
Под капотомПодавление ложных тревог работало всегда. 10 сентября мы перестали записывать каждое срабатывание: теперь одна запись в минуту на источник шума. Само подавление не менялось. 92% записей давали три неподвижных ложных источника в Мастерской.
В третью неделю человек размечал почти 600 находок в день и пересобрал эталоны по всей истории. Сразу после этого система стала узнавать вдвое чаще, а поправлять её пришлось реже.
Под капотомНедели: 3–9, 10–16, 17–23 сентября и 24 сентября – 3 октября (10 дней). Какую сущность назвала машина, база хранит с 12 сентября, поэтому долю исправлений за первую неделю посчитать нельзя. В «исправлено» входят и переносы внутри семьи «Соседи»: с 30 сентября они не считаются ошибкой. 20–22 сентября эталоны пересчитаны по всей истории, исправления человека стали «негативами» (371 пример «это не он»), а у эталонов появился порог резкости.
У системы несколько способов узнать знакомого. Лицо работает лучше всего, но камеры редко видят лицо крупно. Чаще помогает силуэт. Хуже всего работает догадка по месту: «здесь обычно стоит такая-то машина».
Под капотомИсточник: журнал решений (1 881 запись с 22.09), сверка с итоговой разметкой. Люди по силуэту: строго 82% (613 из 749), с учётом переносов внутри семьи «Соседи» 86%. Ошибки по людям: 74 раза назван другой человек, 30 раз человека не было вовсе. Координатная память по машинам у ворот отложена до накопления данных: если она называет конкретную машину, права в 11 случаях из 99.
Ложная тревога — когда система приняла за человека куст, тень или блик. Сравниваем первую неделю с последними десятью днями.
Под капотомГлавный рычаг — порог уверенности по камере. Комната 0,35 → 0,87, Кухня 0,35 → 0,84, Мастерская 0,35 → 0,8, Дверь 0,35 → 0,5. У этого есть цена: на Комнате находок стало в 4,8 раза меньше (768 за первую неделю, 161 за последние 10 дней). Мастерская не показана: за последние 10 дней на ней 7 размеченных находок. Панорама выключена, Тамбур подключён 15 сентября.
Если сложить месяц в одни сутки и разбить их на четыре части, видно, как живёт двор. Ночью система почти отдыхает: находок в 20 раз меньше, чем днём.
Под капотомУтро 06–11, день 11–17, вечер 17–23, ночь 23–06. С 23 сентября уличные камеры в тёмное время перепроверяют друг друга: из 12 находок, которые вторая камера не подтвердила, 9 действительно оказались ложными.
Если двое часто попадают в одно событие, это пара: собака и хозяйка, хозяин и его велосипед. Система использует такие пары как подсказку. Если видна собака соседки, рядом, скорее всего, она сама.
Под капотомСамого частого жильца система видела на всех 10 камерах и в 29 днях из 31. 30 сентября появилась семья сущностей: «Соседи» стали общей группой, в которую входят конкретные соседи. Из базы удалены 81 противоречащий «негатив».
Система сама переживает зависания камер и чистит диск. Сам компьютер при этом работает на пределе: памяти не хватает, и он постоянно сбрасывает её на диск. Это первое, что нужно решить, прежде чем добавлять камеры.
Движок и веб работают как системные службы и сами поднимаются после сбоя.
Камеры работали, но кадры не разбирались. Добавлен сторож, который перезапускает распознавание. Заодно найдены и исправлены несколько гонок потоков.
Сбой самой камеры, в приложении производителя картинка была ровной. Повёрнутый кадр сдвигает зоны и память мест. Помогла перезагрузка камеры.
Добавлен сторож потока: пульс цикла, снимок стеков в лог, перезапуск. С 3 октября движок берёт не больше 10 кадров в секунду с камеры.
Под капотомНагрузка снята одним снимком top 3 октября в 11:27: load average около 7, подкачка 29 млн страниц в память и 32 млн из неё с момента загрузки. Сколько из 4,3 ТБ приходится на подкачку, а сколько на кадры и базу, ещё предстоит разобрать.
Под капотом7 релизов за месяц. 35 коммитов (11%) ушли в побочную линию: «Ёлку», питомца на пиксельном дисплее Pixoo, который показывает гостей с камер и танцует под музыку Яндекс Станции. Темп спадает, потому что крупные переделки закончились и работа сместилась в точечные исправления по живым данным.
Разобрать, откуда 250 ГБ записи в сутки, и снять нехватку памяти. Тогда станет ясно, сколько камер реально тянет одна коробка, а это себестоимость продукта для одного дома.
Отдельные пороги и перепроверка второй камерой на время, когда камеры переходят в ночной режим.
Через 2–3 недели журнала решений пересчитать точность памяти мест и решить: чинить или выключить.
Отдельная копия в облаке с вымышленными именами и стилизованными кадрами, чтобы показывать продукт без доступа к дому. Архитектура согласована, работа на паузе.
Приход и расход места по камерам и дням. Единственный несделанный пункт из сентябрьского списка аналитики.