Navespro.ru

 Отпуск пролетел, мысли улеглись, можно заново возвращаться к размышлениям.

Сейчас самый трудный вопрос заключается в том, каким образом все-таки сопоставлять ассоциируемый фрагмент (ключ) с проективным фрагментом (значение) в случае использования сжимающих отображений.

С одной стороны, для фиксированных данных (изображение, аудиофайл, видеофайл, исторические данные котировок) построить аттрактор в виде системы итерируемых функций - задача вполне тривиальная.

С другой стороны, отображение содержит в себе только привязанное к конкретному фрагменту цифрового потока (или массива данных) преобразование. Иначе говоря, ключ преобразования в данном случае - это адрес фрагмента в потоке (одно- или многомерном)

Необходимо же получить ключ чувствительный каким-либо образом к самим данным (т.е. ассоциативный ключ).
Такой метод описывают Кузнецов и Дмитриев в своей работе "Запись данных на предельных циклах одномерных отображений", где на определяется связанность последовательных данных между собой кодированием интервалов определенного алфавита на числовом отрезке.

Предположительно решение заключается в сортировке сжимающих отображений по частоте возникновения ключевых значений с переменным уровнем записи (т.е. условно говоря, n-арное дерево ключей увеличивающей длины для всех возможных ветвлений).

При этом функция сортировки получается сложной - с одной стороны, число подтверждений пары ключ - отображение, с другой стороы - число опровержений (т.е. когда отображение для возникающего ключа слишком отличается)

Аналогичный метод для регулярных данных реализован в алгоритме арифметического кодирования, где используется воронка вероятностей для предсказания продолжения последовательности.

Концепция алгоритма в данном случае получается такой.

1. В некотором буфере (мгновенный снимок) входного потока (для начала стоит использовать просто одномерную последовательность данных) производится фрактальное сжатие (получение системы итерируемых функций, максимально точно отражающей преобразование последовательности в саму себя)
2. Все отображения (сжимающие) сортируются в направлении из прошлого в будущее, при этом производится формирование алфавита - минимальных фрагментов последовательностей, идентифицирующих сжимаемый фрагмент, и производится запись одномерного отображения ключа и ассоциированного с ним отображения.
3. Выявленные ключевые последовательности и отображения в будущее сортируются по принципу значимости (для предсказания существенных изменений в потоке данных, отображение происходит со значительным коэффициентом сдвига и/или масштаба)
4. За счет повторения шагов 1-3 для смещающихся в буфере данных потока накапливается база ключей и сжимающих отображений в будущее. Каждый раз при срабатывании ключа проверяется точность сохраненного отображения. При высокой точности (малые значения квадратичного отклонения) для данного ключа-отображения увеличивается признак полезности прогноза, при низкой точности ключ может быть расщеплен (увеличением точности) и отображение уточнено (скорректированы коэффициенты масштабирования и сдвига)
5. За счет повторения шага 4 в базе ключей накапливаются наиболее часто повторяющиеся шаблоны отображений в наблюдаемом потоке данных.

Дальнейшее развитие алгоритма заключается в сравнительном анализе ключей-отображений между собой, в их объединениях (обобщениях), улучшении качества получаемых прогнозов, сокращении уровня записи отдельных ключей для более быстрого ассоциирования краткосрочных (контекстных) данных, построение широкого аттрактора ключей для систематизации входящего потока в долгосрочных периодах.

Кроме одномерных потоков данных требуется обобщить алгоритм на многомерные, а так же безмерные (т.е. с неопределенной внешней мерностью) динамические массивы данных.

Одномерный алгоритм может быть полезен на первом этапе для прогноза колебаний цен отдельного актива на отдельно рынке.
Многомерный алгоритм должен позволять связывать множественные потоки в единую структуру
Безмерный алгоритм должен работать независимо от мерности входящих потоков, выстраивая образы минимальной мерности для каждого конкретного случая.

Необходимо сформулировать и доказать (или найти эквивалент) теорему о тождественности одномерного и многомерного (безмерного) отображений с изменение уровня записи (глубина кодирования) ключевых последовательностей значений.

Небольшие замечания.

1. Для одномерного потока данных формула отображения (отдельная итерируемая функция) записывается как X[k*j+m] = a*X[j] + b,
где 0 < k < 1 - коэффициент сжатия отображения, m > 0 - коэффициент сдвига отображемого фрагмента, a - коэффициент масштабирования фрагмента, b - коэффициент смещения значений фрагмента, X - элемент последовательности, N < j < N+L - индекс в пределах отображаемого фрагмента от значения N до значения N+L.

2. Система итерируемых функций определяется наборами значений (N, L, k, m, a, b) таким образом, чтобы отображение фрагмента X[N...N+L]  в фрагмент X[kN+m...kN+kL+m] по методу наименьших квадратов с вычислением коффициента a и значения b дающими наименьшее квадратичное отклонение

3. Запись ключа отображаемого фрагмента в простейшем случае определяется одномерным отображением отсчетов данных начиная с первого и до уровня записи, на котором отсутствуют повторения ключа. Уровень записи определяется как сложение первого значения со следующим, деленным на коэффициент размаха (разница между максимально и минимально допустимым значениями потока), и так далее, т.е. x[1]+x[2]/Z+x[3]/Z^2+...+x[p]/Z^(p-1)

4. Возможна более сложная запись ключа, когда сохраняется не исходная последовательность, а сжатая (прореженная) линейным или, лучше, нелинейным способом. В целом вопрос оптимизации ключа - это вопрос развития адаптивных возможностей алгоритма. При обобщениях ключей наименее значимая информация должна устраняться, и хеш-функция ключа должна описываться как адаптивный внутренний алфавит потока. Над этим вопросом следует поработать более глубоко, тем не менее, начинать тестирование (для понимания какие методы устранения избыточности могут быть применимы) необходимо c наиболее простого алгоритма записи ключа последовательно, возможно, с джокерами для значений, которые могут быть опущены и генетическим алгоритмом скрещивания разных ключей со схожими значениями отображения (коэффициентами a и b)

Первоначальные алгоритмы ожидаются существенно ресурсоемкими, но после накопления некоторой начальной базы количество обновлений базы ключей должно стать линейным. 

Вам это будет интересно!

Последние новости