Нейросеть для классификации фискальных данных, созданная с целью автоматизации расчетов экономических показателей по всей России.Считывает и интерпретирует данные из ОФД, определяя денежные обороты по срезам из 80 регионов РФ и более чем 500 товарным категориям

ИСБД

Заказчик – организация, ответственная за выполнение государственного контракта для федеральной службы, собирающей статистику. Задача – создать систему, способную собирать данные из миллионов чеков и составлять на их основе достоверную статистику цен. Перед началом – два обязательных дисклеймера. Мы не прямой подрядчик, но мы проделали всю работу. Включая проектирование системы и доработки, проводимые по требованиям заказчика. Работа с большим объемом данных позволяет получить очень точные статистические данные. В данном случае объем данных был уникальным - каждый день приходило 250 гигабайт текстовых файлов. Обычно такие объемы данных могут показаться недостижимыми.

Задача

Для работы заказчику нужен список регулярно продаваемых товаров и услуг — и цен на них. Ориентируясь на этот список, весь следующий год заказчик будет отслеживать динамику цен в России. Сотрудники службы ранее пытались решить задачу "вручную". Обработка данных из всех регионов России вручную – невозможная задача.&nbsp; После внедрения системы обмена данными, ежедневно ведомству поступало 250 гигабайт текстовых документов. Чтобы проиллюстрировать объем данных, текстов из чеков, поступающих каждый день, хватало бы на наполнение 200 000 книг. Просто представьте, вам каждый день привозят 200 000 книг! Сотрудники вынуждены были собирать и обрабатывать информацию о ценах так, как могли. В результате получалась узкая и нерепрезентативная выборка данных, не способная предоставить полную картину о рыночных ценах.&nbsp; К сожалению усилия сотен сотрудников оказывались тщетными и не приводили к желаемым результатам. Нужно было сделать систему для точного отчета по ценам в России. Главное – максимальная полнота и точность данных.

Что было на входе — и чего от нас ждали

Ни одна алгоритмическая программа неспособна собрать достоверные данные из чека. Задача «брать данные из чеков» кажется простой, пока вы за неё не возьмётесь. Названия продуктов в чеках формируются людьми. И если мы захотим собрать данные по цене картофеля или водки, мы столкнемся со следующими проблемами:<ul><li>Один и тот же продукт может быть назван разными словами: «картофель» и «картошка».</li><li>Разные продукты могут иметь одинаковые наименования, например «пирожное картошка» и «картошка фри»&nbsp; что усложняет фильтрацию данных.</li><li>Встречаются ошибки и неточности в названиях продуктов, например, «Вода Абсолют 0,5» по цене девятьсот восемьдесят четыре рубля. Алгоритм поместит такой продукт в категорию “вода” если не добавить каку-то кастомную обработку.А на все случаи жизни такие обработки не предусмотришь.</li></ul>Мы получали чеки с ошибками. Общий объем таких чеков составлял порядка 30% от общего количества, а для исправления ошибок требуются люди.&nbsp; В ходе работы мы также обнаружили, что в некоторых магазинах часть названий пишут латинскими буквами. Например, слово «картошка» может содержать латинскую «пи» вместо кириллической «эр». К сожалению мы так и не разгадали, зачем это делают.<ul><li>В чеках иногда встречаются ошибочные цены. Неправильные цены могут быть установлены на один килограмм картофеля, например, всего за 1 рубль или 1000 рублей, и это можно объяснить либо ошибкой, либо хитрым умыслом.</li><li>Кроме того, в чеках присутствуют данные об оптовых закупках, что может исказить статистику, охватывающую только розничные цены.</li></ul>В ходе работы мы обнаружили 5 препятствий, описанных выше, при сборе данных. Некоторые из них успешно удаётся преодолеть с помощью алгоритмов, тогда как другие требуют ручной обработки.

Почему нельзя было решить всё алгоритмами

В общем и целом схема решения выглядела так:<ul><li>Алгоритмами проводим первую некачественную, но полную классификацию</li><li>Размечаем данные для обучения нейросети</li><li>Обученой нейросетью проводим качественную классификацию</li><li>Отсекаем алгоритмами нерелевантные данные — ценовые ошибки и оптовые продажи.</li></ul>В дополнение к этому мы начали привязывать кассовые аппараты к городам. Именно начали — там есть свои сложности, о которых ниже. И создали механизм для публикации отчёта.

Нашли решение — и использовали нейросеть там, где она действительно нужна

Наша основная цель – получить отчет охватывающий максимальное количество данных. Поэтому, на первом этапе, мы активно работали над сбором как можно большего числа чеков для каждой категории. На данном этапе наш приоритет заключался в том, чтобы максимально сохранить полноту выборки чеков, даже если в неё попадали нерелевантные чеки вместе с нужными. Кажется, что наш подход мог снизить качество классификации, но нас это не пугало, на следующем этапе данными займётся нейросеть.&nbsp; Используя данный подход, нам удалось обеспечить максимальный охват данных и создать базу для обработки нейросетью. Это позволило увеличить объем информации для точных отчётов и статистики по ценам в России. Понимая, что абсолютное количество релевантных данных для нас в приоритете, мы выбрали первый вариант базы данных, который обеспечивал максимальный их охват.&nbsp; Затем мы разработали алгоритмическую программу для сбора первичных данных, которая создавала нам мини-базы данных для каждой категории.&nbsp; Это позволило нам успешно собрать и категоризировать большой объем данных, который стал основой для последующего анализа и обработки.

Начали собирать максимум данных для каждой категории

Мы облегчили работу асессорам и нейросети, используя информацию о связанных позициях. Зная, что категория "картошка" может включать в себя "картошку фри" или "фритюр", мы применили соответствующие фильтры для исключения всех подобных позиций из базы данных. Это требовало одного запроса и одной команды в базе данных, что значительно упростило процесс обработки данных и улучшило качество результатов. Основная проблема – в каждой категории требовалось использовать под сотню "минус-слов" для отсева нерелевантных данных.&nbsp; Искать и добавлять эти "минус-слова" вручную было не только неудобно, но и крайне неэффективно. Поэтому мы создали программу, которая собирает самые часто встречающиеся словосочетания в категории. И добавили интерфейс с возможностью исключать все позиции с этим словосочетанием.

Создали удобный интерфейс для первичного отсеивания нерелевантных данных — и добавкой релевантных

Так мы максимально упростили и очистили те данные, которые будут поступать нейросети и ассесорам. Добавив возможность вносить новые релевантные запросы в базу данных, мы столкнулись с более сложной задачей — поиском соответствующих "плюс-слов". Теперь приходится полагаться на свой личный опыт и здравый смысл, чтобы находить подходящие термины. Мы были вынуждены залезть в реестр неклассифицированных позиций, чтобы обогатить базу данных новыми запросами. Это стоило того, так как позволило нам собрать максимально полную статистику и обеспечить более всесторонний анализ данных.

Чтобы обучить нейросеть, мы привлекли сотрудников самой службы. Изначально обсуждалась интеграция с Яндекс.Толокой — но в итоге идею не одобрили. Технически это всё ещё возможно, но заказчику сложно было доверить данные сторонней компании. Процесс обучения нашей системы очень прост. Мы берём базу данных, которая уже прошла фильтрацию с помощью "плюс-слов" и "минус-слов" и содержит только релевантные данные по конкретной категории. Люди получают небольшой кусочек этой базы для разметки. Они отсматривают каждую позицию и определяют, должна ли она быть в этой категории. А нейросеть «наблюдает» за ними.&nbsp;

Внедрили нейросеть для «неавтомитизируемых» участков работы с данными

Достоверность определяется по рейтингу ассесоров. Этот рейтинг система начисляет в соответствии с реакцией на «окончательные» решения по разметке. Так мы избегаем и случайных ошибок ассесоров, и искажений, могущих возникнуть из-за халатного исполнения обязанностей. После получения определённого количества данных нейросеть вырабатывает собственные критерии — и становится способна разобрать всю остальную часть базы. Она делает это уже без участия человека, и обрабатывает огромные данные. Условно говоря, после разметки 1000 позиций нейросеть может провести аналогичную работу ещё с 200 000 позиций. Или с двумя миллионами позиций. Вопрос лишь в качестве. Оно тем выше, чем дольше работает сама нейросеть. Сейчас оно намного выше, чем в любой другой существующей системе. Но, если бы у нас был конкурент, который размечает в два раза больше позиций — он бы ушёл по качеству обработки немного дальше. На словах все может казаться простым, но на практике обучение нейросетей — сложный и длительный процесс. Настоящая волшебная магия происходит, когда нейросеть обладает обширным объемом данных для анализа. Поэтому для систематического повышения качества работы базы данных, нужно ежедневно работать с содержимым и помогают нейросети учиться.

Эту проблему мы тоже решили алгоритмическими программами — но уже двумя.&nbsp; Отсекли оптовые покупки за счёт подсчёта объёмов. Здесь всё было достаточно просто. Если один магазин в день продаёт 40 кило картошки, другой 50, третий 38, а четвёртый 550 — очевидно, покупают у них эту продукцию разными объёмами. Отсекли ошибки в чеках за счёт «выбросов» из статистики цен. Мы отсекаем чеки с ценами, которые слишком сильно отличаются от общей статистики в процентных соотношениях. Конкретные суммы не используем из-за того, что разные товары продаются по разным ценам. Наше решение не без изъянов, но работает достаточно точно. Да и создать что-то идеальное сейчас невозможно. Конечно, мы не можем с полной уверенностью заявить, что полностью искоренили опт и все ошибки. Но мы их свели до уровня “погрешности”. А вот чтобы выявить все случаи и добиться идеала, без ручной работы не обойтись, а провести такую работу –– большие и регулярные трудозатраты.

Настроили отсечение нерелевантных данных

Изначально для сбора региональной статистики планировали разработать модуль, который обрабатывал бы эти данные. Сейчас модуль определения города есть — но он работает слабо из-за недостатка информации. Если вкратце, кассовые аппараты должны были привязывать к конкретному городу, но этого не произошло. Какая-то информация о месторасположении касс все же доступна. Во время регистрации кассового аппарата пользователи указывают город, в котором планируют использовать кассу, и часто это поле заполнено. Опираясь на эти данные мы смогли привязать чек к городу и конкретному региону и неважно, как там написан город «Петербург», «г. Санкт-Петербург», «гор. Санкт-Петербург» или как-то ещё — мы все равно поймет откуда этот чек.

«Привязали» конкретные чеки к городам для получения максимально обширной статистики

Даже после этих проверок не все данные были достаточно релевантны для годовых отчётов и работы со статистикой на их основе в будущем.Поэтому мы ввели дополнительные проверки:<ul><li>Актуальность товара. Товар должен продаваться в городе минимум в 5 магазинах и не меньше определённого количества раз, которые наш заказчик подсчитал для каждой категории товара самостоятельно.</li><li>Наличие товара на полках. Мы создали набор сложных правил, который позволил отследить, не пропал ли конкретный товар. В случае, если пропал — в статистику попадали аналоги, максимально близкие по наименованию и цене. Если пропадали и аналоги — брали наиболее близкий из оставшихся, и он попадал в статистику со специальной пометкой.</li></ul>

Ввели дополнительные проверки по актуальности и релевантности

После того, как все перечисленные выше операции прошли, можно было формировать недельные, месячные и годовые отчёты. Формировались они так же автоматически, а вот публикацию мы настраивали отдельно. Сперва согласование идёт на уровне регионов. В каждом регионе ответственный сотрудник проверяет отчёт по своему региону. Если он видит, что там всё в порядке, то отправляет на публикацию. Дальше отчёт согласовывается с главным управлением. Оно проверяет отчёт целиком, а после — публикует. Так мы получили адекватный ручной контроль для результатов работы огромного комплекса.

Создали и настроили механизм публикации, основанный на ручном контроле

<ul><li>Автоматизацию того, что никто не мог сделать вручную. Сделать подобные отчёты «руками» принципиально невозможно. Чтобы собрать и проанализировать данные по одной товарной позиции за один день, десятку аналитиков понадобится месяц. Сейчас несколько сотрудников могут за пару часов задать каждой категории правила для всей дальнейшей работы. И нынешний труд нужен только для повышения точности отчётов.</li></ul><ul><li>Наверное, самые точные и полные в мире отчёты о динамике цен. В России весь легальный бизнес создаёт чеки — и делает это в онлайн-кассах (нынешние кассы все «онлайн»). Мы сделали всё, чтобы собирать из этих данных статистику. Результат говорит сам за себя: итоговый отчёт охватывает 85% всех данных и даёт статистику с точностью ~95%. Учитывая, что исходные данные местами попорчены человеческим фактором — результат поразительный. А для повторения такого опыта другим странам нужны схожие законы для работы с кассами и чеками (плюс проведение той работы, которую мы здесь описали).</li></ul><ul><li>Платформу, работу которой они могут контролировать на любой стадии. Сотрудники в любой момент могут выгрузить базу данных по конкретной категории и увидеть, что изменилось после прохождения определённого этапа. Они могут взять «сырую» базу, с «плюс»- и «минус»-словами, прошедшую обработку только нейронкой, с отсечёнными оптовиками и отсечёнными нерелавантными ценами. И сравнить все эти версии между собой.</li></ul>

Что получил заказчик

Нейросеть для классификации фискальных данных, созданная с целью автоматизации расчетов экономических показателей по всей России.