Russian Qt Forum
Май 13, 2024, 12:44
Добро пожаловать,
Гость
. Пожалуйста,
войдите
или
зарегистрируйтесь
.
Вам не пришло
письмо с кодом активации?
1 час
1 день
1 неделя
1 месяц
Навсегда
Войти
Начало
Форум
WIKI (Вики)
FAQ
Помощь
Поиск
Войти
Регистрация
Russian Qt Forum
>
Forum
>
Программирование
>
Алгоритмы
>
К проблеме предсказания событий
Страниц:
1
2
3
[
4
]
5
Вниз
« предыдущая тема
следующая тема »
Печать
Автор
Тема: К проблеме предсказания событий (Прочитано 30566 раз)
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #45 :
Октябрь 20, 2019, 19:31 »
Цитата: Old от Октябрь 20, 2019, 19:27
Цитата: m_ax от Октябрь 20, 2019, 19:22
Кстатии, а почему бы и не проверить всё это дело на динамике стоимости акций или аблигаций или ещё чего на фондовом рынке?
Правда, нужен открытый доступ (на большом промежуток времени) к данным по этой самой динамике..
Нейронки там уже давно и успешно используют. Насколько я слышал.
У них там есть определенный набор фигур, типа после роста с тремя горбами начинается затяжной спад, и т.д.
Раньше их рассматривали трейдеры на графиках и делали прогнозы, а сейчас нейросетки.
Ну вот, обрадовали) А у меня уж тут планы.. Кредит на яхту взял
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #46 :
Октябрь 20, 2019, 19:34 »
Цитата: Old от Октябрь 20, 2019, 19:29
Цитата: m_ax от Октябрь 20, 2019, 19:22
И потом, там функция не бинарная..(
Ну и что, можно учить сеть на "начнется спад", "будет все ровно" и "бурный рост".
Мы ей данные за месяц - она нам прогноз на неделю.
А сколько по времени она обучаться будет, если функция непрерывная? И если динамика быстрая: дни, часы.. Классические нейронки также справляются?
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #47 :
Октябрь 20, 2019, 19:47 »
Цитата: m_ax от Октябрь 20, 2019, 19:34
А сколько по времени она обучаться будет, если функция непрерывная? И если динамика быстрая: дни, часы.. Классические нейронки также справляются?
Ну так сеть можно доучивать по мере поступления данных.
А скорость обучение можно повысить задействовав GPU. У меня это дало ускорение в десятки раз по сравнению с вычислением на i8. А есть специализированные процессоры...
И в биржевых торгах, наверное, сеть натаскивают на определенный набор фигур, им не нужно на непрерывный поток тренировать. Еще раз наверное.
«
Последнее редактирование: Октябрь 20, 2019, 19:49 от Old
»
Записан
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #48 :
Октябрь 20, 2019, 20:08 »
Цитировать
А скорость обучение можно повысить задействовав GPU.
Эта возможность, как я понимаю, уже под капотом конкретной библиотеки? Просто время обучения - это сейчас узкое горло нейросетей, над решением которого очень интенсивно бъются) Кстатии, градиентный спуск.. Наш minsearch не страдает теми детскими болезнями) И устойчив по отношению к сваливанию в локальный минимум) Всё опубликовать его не можем..( У меня голова другим забита, а мой коллега диссер пишет.. ему тоже не до этого(
Цитировать
У меня это дало ускорение в десятки раз по сравнению с вычислением на i8.
А здесь мы видели ускорение порядка 10^4-10^5 на обычном CPU
«
Последнее редактирование: Октябрь 20, 2019, 20:14 от m_ax
»
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #49 :
Октябрь 20, 2019, 20:19 »
Цитировать
А здесь мы видели ускорение порядка 10^4-10^5 на обычном CPU
Но согласен, здесь задача очень частная просто..
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #50 :
Октябрь 20, 2019, 20:26 »
Цитата: m_ax от Октябрь 20, 2019, 20:08
Эта возможность, как я понимаю, уже под капотом конкретной библиотеки?
Я сильно не упирался пока, но у меня не получилось с наскока запустить ее с OpenCL. А может это у меня на ноуте с двумя видюхами она не запустила CUDA на второй nvidia.
Завтра на работе попробую на рабочем десктопе.
Я до этого игрался с библиотекой skynet. Вот с ней эффект виден невооруженным глазом, но у skynet есть свои косяки, она не может/поломано сохранение модели сети из GPU. Чинить тоже нет ни времени, ни желания.
Цитата: m_ax от Октябрь 20, 2019, 20:08
Наш minsearch не страдает теми детскими болезнями)
Здесь больше задача классификации, когда мы показываем сети разные графики, а она говорит что это такое.
Ваш minsearch умеет классифицировать?
Записан
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #51 :
Октябрь 20, 2019, 20:40 »
Цитировать
Ваш minsearch умеет классифицировать?
Он умеет искать глобальный минимум функции многих переменных, причём, если он его нащупал, то он экспоненциально быстро к нему сходится.. И ещё он может "выкорабкиваться" из локальных минимумов.. И ещё он хорошо параллелится
Другой вопрос, можно ли проблему классификации связать к проблеме минимизации.. Это мне вот так, с наскока, не очевидно..
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #52 :
Октябрь 20, 2019, 20:49 »
Цитата: m_ax от Октябрь 20, 2019, 20:40
Другой вопрос, можно ли проблему классификации связать к проблеме минимизации.. Это мне вот так, с наскока, не очевидно..
Тоже затрудняюсь ответить.
Посмотрел несколько трейдерских фигур, по мне так нейронку можно на них натренировать, а она будет говорить вероятность смены тренда.
https://tradexperts.ru/tehnicheskij-analiz-foreks/figury/figury-razvorota-i-prodolzheniya
Внизу есть перечень основных фигур.
«
Последнее редактирование: Октябрь 20, 2019, 20:51 от Old
»
Записан
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #53 :
Октябрь 20, 2019, 21:55 »
Цитировать
Посмотрел несколько трейдерских фигур, по мне так нейронку можно на них натренировать, а она будет говорить вероятность смены тренда.
Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
Я заметил, что есть две, на мой взгляд, наиболее важные закономерности в этой истории, а именно: можно выделить два масштаба корреляций - первый, это мелкомасштабный, сильно зашумлённый, практически не отличимый от белого шума. И амплитуда такого шума мала (по сравнению с общим трендом). Второе - это то, что практически в большинстве случаев, на больших масштабах можно выделить линейный тренд: либо ниспадающий, либо наоборот, ну или, почти, никакой
А мы знаем, что производная от линейной функции - это константа. А это означает, что если избавиться от мелких флуктуаций, например, разблурив кривую, и взять от неё производную
, то график становится более наглядным и удобным для дальнейшего анализа) Т.е. он после этой операции будет колебаться вокруг некоторого среднего (которое соответствует наклону тренда), флуктуируя с амплитудой, порядка среднеквадратичного отклонения (точнее корню от неё). Самое интересное, как распределенны пики (минимумы и максимумы) такой кривой. Сразу скажу, что, на основе опыта прошедших дней, могу сказать, что нейросети легко распознают исходный тренд (т.е. его наклон)). Так вот, гораздо конструктивнее (на мой взгляд) анализировать и натравливать нейросеть на производную сглаженной функции) А саму исходную функцию легко восстановить, простым интегрированием)
Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему) Мне это интересно, чисто, с академической точки зрения)
«
Последнее редактирование: Октябрь 20, 2019, 23:30 от m_ax
»
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #54 :
Октябрь 21, 2019, 07:48 »
Цитата: m_ax от Октябрь 20, 2019, 21:55
Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца.
Цитата: m_ax от Октябрь 20, 2019, 21:55
Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему) Мне это интересно, чисто, с академической точки зрения)
Интересное предложение, но мне эта тема интересна в первую очередь для классификации физических сигналов.
Тут флуктуации появляются из-за среды распространения сигнала, внешних факторов, аппаратуры съёма и т.д.
На тестовых сигналах (с генерированных вручную) я сеть проверил, вроде результаты не плохие, но на реальных данных сеть пока не тестировалась.
Только плотно заняться этой темой у меня получиться не раньше нового года, сейчас загрузка большая на других проектах.
Записан
ViTech
Гипер активный житель
Offline
Сообщений: 858
Re: К проблеме предсказания событий
«
Ответ #55 :
Октябрь 21, 2019, 11:15 »
Цитата: Old от Октябрь 21, 2019, 07:48
Цитата: m_ax от Октябрь 20, 2019, 21:55
Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца.
Если бы всё было так просто, как на тех картинках (и не только), все давно бы уже на яхтах плавали
.
Записан
Пока сам не сделаешь...
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #56 :
Октябрь 21, 2019, 11:45 »
Цитата: ViTech от Октябрь 21, 2019, 11:15
Если бы всё было так просто, как на тех картинках (и не только), все давно бы уже на яхтах плавали
.
Так я про это и говорю. Принимать решение по фигурам на графике это что-то из области магии.
Записан
ViTech
Гипер активный житель
Offline
Сообщений: 858
Re: К проблеме предсказания событий
«
Ответ #57 :
Октябрь 21, 2019, 11:57 »
Цитата: Old от Октябрь 21, 2019, 11:45
Так я про это и говорю. Принимать решение по фигурам на графике это что-то из области магии.
Я ж и поддерживаю
. В тех магических техниках не хватает слова "вероятно". Причём подозреваю, вероятность будет колебаться в районе 0.5, как и в любой другой точке графика
.
Записан
Пока сам не сделаешь...
Old
Джедай : наставник для всех
Offline
Сообщений: 4349
Re: К проблеме предсказания событий
«
Ответ #58 :
Октябрь 21, 2019, 12:15 »
Цитата: ViTech от Октябрь 21, 2019, 11:57
Я ж и поддерживаю
. В тех магических техниках не хватает слова "вероятно". Причём подозреваю, вероятность будет колебаться в районе 0.5, как и в любой другой точке графика
.
Обычная вероятность встретить динозавра - 50%, можно встретить, можно не встретить.
Записан
m_ax
Джедай : наставник для всех
Offline
Сообщений: 2094
Re: К проблеме предсказания событий
«
Ответ #59 :
Октябрь 22, 2019, 22:44 »
Цитата: Old от Октябрь 21, 2019, 07:48
Цитата: m_ax от Октябрь 20, 2019, 21:55
Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца.
Цитата: m_ax от Октябрь 20, 2019, 21:55
Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему) Мне это интересно, чисто, с академической точки зрения)
Интересное предложение, но мне эта тема интересна в первую очередь для классификации физических сигналов.
Тут флуктуации появляются из-за среды распространения сигнала, внешних факторов, аппаратуры съёма и т.д.
На тестовых сигналах (с генерированных вручную) я сеть проверил, вроде результаты не плохие, но на реальных данных сеть пока не тестировалась.
Только плотно заняться этой темой у меня получиться не раньше нового года, сейчас загрузка большая на других проектах.
А сколько в вашей задаче класифицирующих параметров? Просто есть проблема (не тривиальная), когда один класс может относится к нескольким группамм.. И вот здесь возникает проблема разбития множества на группы с условием, чтоб минимизировать дисперсию наблюдаемой величины.. Т.е. вы подаёте на вход N размерный вектор параметров, а на выходе ожидаете M мерный вектор результатов.. У каждого результата есть своё мат. ожидание и дисперсия. Проблема сводится к тому, чтоб оптимально разделить всё множество на группы, и чтоб суммарная дисперсия была минимальна.. На сколько я знаю, эта задача ещё доконца не решена..
Пример: У вас есть множество еденичных векторов в D-мерном пространстве.. D>>1. Нужно оптимально, по определённому критерию, выделить N групп, включающих в себя все исчерпывающие классы таких векторов.. Сколько таких групп в среднем будет? Можно ли это как то аналитически вывести?
Я не знаю) Но есть идеи, как это можно с помощью computer science реализовать)
«
Последнее редактирование: Октябрь 22, 2019, 22:54 от m_ax
»
Записан
Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..
Arch Linux Plasma 5
Страниц:
1
2
3
[
4
]
5
Вверх
Печать
« предыдущая тема
следующая тема »
Перейти в:
Пожалуйста, выберите назначение:
-----------------------------
Qt
-----------------------------
=> Вопросы новичков
=> Уроки и статьи
=> Установка, сборка, отладка, тестирование
=> Общие вопросы
=> Пользовательский интерфейс (GUI)
=> Qt Quick
=> Model-View (MV)
=> Базы данных
=> Работа с сетью
=> Многопоточное программирование, процессы
=> Мультимедиа
=> 2D и 3D графика
=> OpenGL
=> Печать
=> Интернационализация, локализация
=> QSS
=> XML
=> Qt Script, QtWebKit
=> ActiveX
=> Qt Embedded
=> Дополнительные компоненты
=> Кладовая готовых решений
=> Вклад сообщества в Qt
=> Qt-инструментарий
-----------------------------
Программирование
-----------------------------
=> Общий
=> С/C++
=> Python
=> Алгоритмы
=> Базы данных
=> Разработка игр
-----------------------------
Компиляторы и платформы
-----------------------------
=> Linux
=> Windows
=> Mac OS X
=> Компиляторы
===> Visual C++
-----------------------------
Разное
-----------------------------
=> Новости
===> Новости Qt сообщества
===> Новости IT сферы
=> Говорилка
=> Юмор
=> Объявления
Загружается...