Интеграция с 1С
Проблема больших файлов
Максимальный размер
На момент написания документации ограничение по размеру файла — 128 мегабайтов.
Не обрабатываются файлы большого размера — для этого случая на сервере можно в терминале выполнить команду make cut.
В таком случае большие файлы "нарежутся" на файлы меньшего размера, сохраняя корректную структуру JSON (если она была изначально корректной).
Это относительно ресурсоёмкий процесс, который применим для начала интеграции, когда выгружаются все существующие данные по справочникам 1С.
В последующем для интеграции файлы будут содержать только изменившиеся, либо новые сущности.
Такие файлы будут формироваться и обрабатываться регулярно, что должно исключить вероятность вновь столкнуться с файлами слишком большого размера.
Исходя из этих соображений, "нарезчик" выполнен в виде консольной команды, а не постоянного фонового процесса.