Лучшая практика буферизации для непрерывной записи на SD-карту

Буферы помогут вам, если в какой-то момент входной поток остановится, поэтому "более медленное" устройство (например, SD-карта) может перехватить его. Если данные всегда будут приниматься быстрее, чем они могут быть записаны (обратите внимание, всегда), то никакой буфер вам не поможет.

Но я предполагаю, что вы имели в виду, что в тех случаях, когда вы получаете пакеты входных данных с частотой 1 кГц, это прекратится. Таким образом, пока средняя скорость ввода данных ниже, чем способность SD сохранять данные, все будет в порядке.

В библиотеке SD-карт уже есть буфер (как указал @Majenko), так что, скорее всего, вам ничего не нужно будет делать. Кажется, что-то, что вы можете протестировать относительно просто.

2-ядерный подход звучит несколько излишне (не говоря уже о некоторых проблемах синхронизации, с которыми вам придется иметь дело)

Является ли это разумным решением проблемы?

Нет, к сожалению, нет. Размер буфера ограничен доступной оперативной памятью на вашем чипе. Переключение между несколькими буферами или ядрами этого не изменит, поскольку это аппаратное ограничение.

Я не решаюсь внедрять что-либо, что просто зависит от улучшения скорости записи на SD, поскольку мне, вероятно, потребуется увеличить размер полезной нагрузки данных в будущем, и я не хочу снова сталкиваться с этой проблемой позже.

Когда вы постоянно получаете сообщения быстрее, чем можете записать, у вас есть только 2 варианта:

• Повышение скорости записи
• Уменьшите необходимый размер данных

Другого пути нет, и это логический вывод, а не столько программный или аппаратный вывод. В такой ситуации объем "буферизованных" данных будет увеличиваться бесконечно, поэтому вам потребуется бесконечный объем памяти. А этого не существует в реальном мире. Тот же принцип применим к высокопроизводительному компьютеру с большим объемом памяти, он просто будет заполнен через более длительное время, чем с ESP.

• Повышение скорости записи:

  • На разных сайтах я читал, что вы можете использовать SD-карту с разными частотами SPI. Более высокая частота будет означать более высокую скорость транзакций. На этом этапе вы можете продолжить расследование.
  • Одновременная запись полной страницы размером 512 байт и повторное закрытие и открытие файла только в случае реальной необходимости повысят общую скорость.

• Уменьшите необходимый размер данных

  • Возможно, вы можете пойти на компромисс с разрешением ваших данных, а затем упаковать эти значения как можно плотнее (например, упаковать два 4-битных значения в один байт передачи).
  • Вы можете поискать код сжатия, чтобы сжать свои данные без потерь перед их передачей. Хотя результат всегда будет зависеть от типа ваших данных. Также имейте в виду, что в этом случае вы обмениваете размер передачи на время вычислений и оперативную память.

О буферах:

Я бы сказал, что обычный циклический буфер не принесет вам здесь особых преимуществ, так как с SD-картой вы не хотите выполнять байтовую передачу данных. Подход с 2 буферами, о котором вы упомянули, кажется мне хорошим. Хотя обработка с разными ядрами не имеет для меня особого смысла. Сам прием UART осуществляется аппаратным обеспечением и некоторыми ISR. Вы можете выполнять все передачи с SD-карты в своем основном коде, просто убедившись, что вы регулярно копируете полученные данные из последовательного буфера в свой буфер.

Простите мою нетехническую аналогию, но мой мозг работает именно так. Надеюсь, вы сможете отказаться от вывода о том, что «это не технический ответ», пока вы хотя бы не посмотрите на это с другой точки зрения.

Буферы, входные потоки, частоты дискретизации и скорости хранения тесно связаны с заполнением ванны. Краны, вода, ванны и пробки? ВТФ?

Попробуйте слегка заблокировать сливное отверстие в ванне и полностью откройте оба крана.

Слитая вода — это скорость, с которой данные сохраняются на SD-карте. Это скорость хранения.

Оставшаяся вода, которая не сливается достаточно быстро, приводит к переполнению ванны. Вода — это частота дискретизации, ванна — это буфер.

Если краны остаются открытыми, а вода выходит из кранов быстрее, чем вода может вытечь из частично заблокированного отверстия, ванна будет заполнена водой.

Поэтому, если засор не устранить, ванна в конечном итоге переполнится.

Либо вы закрываете краны, либо используете ванну большего размера, либо увеличиваете скорость слива.

Один из подходов — использовать циклическую буферизацию. Он предполагает использование буфера фиксированного размера, который охватывает сам себя, позволяя непрерывно записывать и перезаписывать данные. Этот подход устраняет необходимость в дорогостоящих операциях перераспределения памяти или смещения. По мере записи новых данных старые данные перезаписываются по кругу. Но вам нужно будет выбрать подходящий размер буфера. Больший размер буфера может помочь справиться с большими объемами данных. Однако большие буферы также потребляют больше памяти.

Если одного буфера недостаточно, вы можете использовать два буфера. Пока один буфер записывается на SD-карту, другой буфер можно использовать для приема новых входящих данных. После завершения операции записи роли буферов меняются местами. Этот метод может помочь повысить эффективность за счет минимизации задержки передачи данных и записи, а это и есть ваша цель. Я использовал этот тип буфера для сбора аудиоданных, и он работал хорошо, избавляя от проблем с переполнением буфера.

Другой метод — использовать DMA, если ваш микроконтроллер или система его поддерживает, что, я думаю, так и есть. Использование DMA для записи на SD-карту может разгрузить ЦП задачу передачи данных. DMA обеспечивает прямой доступ к памяти без вмешательства процессора, обеспечивая более быструю и эффективную передачу данных. DMA может значительно снизить накладные расходы, связанные с непрерывной записью на SD-карту.

Для DMA вы можете проверить следующее: https://github.com/RobTillaart/DAC8552/issues/8 и это: https://github.com/espressif/esp-idf/blob/master/ примеры/периферийные устройства/spi_master/lcd/main/spi_master_example_main.c