Атлас катастеризма
Не самые радостные тенденции заставили меня вернуться к агрегатору русскоязычных gemini-публикаций. Начали отваливаться капсулы с разными ошибками. Кажется самое время прикручивать локальный кэш.
Καταστερισμός (Катастеризм) - aгрегатор русскоязычных gemini-публикаций.
Задачи у локального хранилища две:
- Если на момент сбора публикаций данные были доступны по gemini ссылке, а через какое-то время (когда я смотрю результаты работы агрегатора) данные не отдаются, то хочется иметь возможность посмотреть копию данных, которые были получены на момент времени, когда работал агрегатор.
- Если вчера при работе агрегатора данные были доступны, а при сегодняшнем запуске агрегатора данные не получены (например: timed out), то хочется обработать хотя бы вчерашние данные. А то я начал замечать, что из результатов работы агрегатора начали пропадать данные "из прошлого".
Обе эти задачи решает новая подсистема "Атлас". Это локальное (по отношению к агрегатору) хранилище txt файлов, где кэшируются успешные gemini-запросы. При этом доступ к этим данным можно получить по gemini-ссылке.
Агрегатор русскоязычных gemini-публикаций "Катастеризм"
Ключом к данным локального хранилища выступает URL сохраняемой страницы (если точнее, то SHA256 от строки URL). Это означает, что хранится только одна копия содержимого по URL. Для задач агрегатора это подходит, плюс будет более скромно расходоваться место на файловой системе (не стоит забывать, что агрегатор работает на пабниксе). За несколько дней использования накопилось менее мегабайта (и в дальнейшем я прогнозирую скромный рост: ленты уже закэшированы, tinylog'и будут переписываться новым содержимым):