Russian Qt Forum
Март 28, 2024, 22:17 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
 
  Начало   Форум  WIKI (Вики)FAQ Помощь Поиск Войти Регистрация  

Страниц: 1 2 3 [4] 5   Вниз
  Печать  
Автор Тема: К проблеме предсказания событий  (Прочитано 29464 раз)
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #45 : Октябрь 20, 2019, 19:31 »

Кстатии, а почему бы и не проверить всё это дело на динамике стоимости акций или аблигаций или ещё чего на фондовом рынке?  Улыбающийся
Правда, нужен открытый доступ (на большом промежуток времени) к данным по этой самой динамике..  
Нейронки там уже давно и успешно используют. Насколько я слышал. Улыбающийся
У них там есть определенный набор фигур, типа после роста с тремя горбами начинается затяжной спад, и т.д.
Раньше их рассматривали трейдеры на графиках и делали прогнозы, а сейчас нейросетки.


Ну вот, обрадовали) А у меня уж тут планы.. Кредит на яхту взял  Грустный
Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #46 : Октябрь 20, 2019, 19:34 »

И потом, там функция не бинарная..( 
Ну и что, можно учить сеть на "начнется спад", "будет все ровно" и "бурный рост". Улыбающийся
Мы ей данные за месяц - она нам прогноз на неделю. Улыбающийся

А сколько по времени она обучаться будет, если функция непрерывная?  И если динамика быстрая: дни, часы.. Классические нейронки также справляются?
Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #47 : Октябрь 20, 2019, 19:47 »

А сколько по времени она обучаться будет, если функция непрерывная?  И если динамика быстрая: дни, часы.. Классические нейронки также справляются?
Ну так сеть можно доучивать по мере поступления данных.
А скорость обучение можно повысить задействовав GPU. У меня это дало ускорение в десятки раз по сравнению с вычислением на i8. А есть специализированные процессоры...

И в биржевых торгах, наверное, сеть натаскивают на определенный набор фигур, им не нужно на непрерывный поток тренировать. Еще раз наверное. Улыбающийся
« Последнее редактирование: Октябрь 20, 2019, 19:49 от Old » Записан
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #48 : Октябрь 20, 2019, 20:08 »

Цитировать
А скорость обучение можно повысить задействовав GPU.
Эта возможность, как я понимаю, уже под капотом конкретной библиотеки? Просто время обучения - это сейчас узкое горло нейросетей, над решением которого очень интенсивно бъются) Кстатии, градиентный спуск.. Наш minsearch не страдает теми детскими болезнями) И устойчив по отношению к сваливанию в локальный минимум) Всё опубликовать его не можем..( У меня голова другим забита, а мой коллега диссер пишет.. ему тоже не до этого(

Цитировать
У меня это дало ускорение в десятки раз по сравнению с вычислением на i8.
А здесь мы видели ускорение порядка 10^4-10^5 на обычном CPU Улыбающийся
« Последнее редактирование: Октябрь 20, 2019, 20:14 от m_ax » Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #49 : Октябрь 20, 2019, 20:19 »

Цитировать
А здесь мы видели ускорение порядка 10^4-10^5 на обычном CPU  Улыбающийся
Но согласен, здесь задача очень частная просто..
Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #50 : Октябрь 20, 2019, 20:26 »

Эта возможность, как я понимаю, уже под капотом конкретной библиотеки?
Я сильно не упирался пока, но у меня не получилось с наскока запустить ее с OpenCL. А может это у меня на ноуте с двумя видюхами она не запустила CUDA на второй nvidia.
Завтра на работе попробую на рабочем десктопе.
Я до этого игрался с библиотекой skynet. Вот с ней эффект виден невооруженным глазом, но у skynet есть свои косяки, она не может/поломано сохранение модели сети из GPU. Чинить тоже нет ни времени, ни желания. Грустный

Наш minsearch не страдает теми детскими болезнями)
Здесь больше задача классификации, когда мы показываем сети разные графики, а она говорит что это такое.
Ваш minsearch умеет классифицировать?
Записан
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #51 : Октябрь 20, 2019, 20:40 »

Цитировать
Ваш minsearch умеет классифицировать?
Он умеет искать глобальный минимум функции многих переменных, причём, если он его нащупал, то он экспоненциально быстро к нему сходится.. И ещё он может "выкорабкиваться" из локальных минимумов.. И ещё он хорошо параллелится  Улыбающийся
Другой вопрос, можно ли проблему классификации связать к проблеме минимизации.. Это мне вот так, с наскока, не очевидно..
Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #52 : Октябрь 20, 2019, 20:49 »

Другой вопрос, можно ли проблему классификации связать к проблеме минимизации.. Это мне вот так, с наскока, не очевидно..
Тоже затрудняюсь ответить.
Посмотрел несколько трейдерских фигур, по мне так нейронку можно на них натренировать, а она будет говорить вероятность смены тренда.

https://tradexperts.ru/tehnicheskij-analiz-foreks/figury/figury-razvorota-i-prodolzheniya
Внизу есть перечень основных фигур.
« Последнее редактирование: Октябрь 20, 2019, 20:51 от Old » Записан
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #53 : Октябрь 20, 2019, 21:55 »

Цитировать
Посмотрел несколько трейдерских фигур, по мне так нейронку можно на них натренировать, а она будет говорить вероятность смены тренда.
Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.

Я заметил, что есть две, на мой взгляд, наиболее важные закономерности в этой истории, а именно: можно выделить два масштаба корреляций - первый, это мелкомасштабный, сильно зашумлённый, практически не отличимый от белого шума. И амплитуда такого шума мала (по сравнению с общим трендом). Второе - это то, что практически в большинстве случаев, на больших масштабах можно выделить линейный тренд: либо ниспадающий, либо наоборот, ну или, почти, никакой  Улыбающийся А мы знаем, что производная от линейной функции - это константа. А это означает, что если избавиться от мелких флуктуаций, например, разблурив кривую, и взять от неё производную  Улыбающийся, то график становится более наглядным и удобным для дальнейшего анализа) Т.е. он после этой операции будет колебаться вокруг некоторого среднего (которое соответствует наклону тренда), флуктуируя с амплитудой, порядка среднеквадратичного отклонения (точнее корню от неё). Самое интересное, как распределенны пики (минимумы и максимумы) такой кривой. Сразу скажу, что, на основе опыта прошедших дней, могу сказать, что нейросети легко распознают исходный тренд (т.е. его наклон)). Так вот, гораздо конструктивнее (на мой взгляд) анализировать и натравливать нейросеть на производную сглаженной функции) А саму исходную функцию легко восстановить, простым интегрированием)

Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему)  Мне это интересно, чисто, с академической точки зрения)
« Последнее редактирование: Октябрь 20, 2019, 23:30 от m_ax » Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #54 : Октябрь 21, 2019, 07:48 »

Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца. Улыбающийся

Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему)  Мне это интересно, чисто, с академической точки зрения)
Интересное предложение, но мне эта тема интересна в первую очередь для классификации физических сигналов.
Тут флуктуации появляются из-за среды распространения сигнала, внешних факторов, аппаратуры съёма и т.д.
На тестовых сигналах (с генерированных вручную) я сеть проверил, вроде результаты не плохие, но на реальных данных сеть пока не тестировалась.

Только плотно заняться этой темой у меня получиться не раньше нового года, сейчас загрузка большая на других проектах. Грустный
Записан
ViTech
Гипер активный житель
*****
Offline Offline

Сообщений: 858



Просмотр профиля
« Ответ #55 : Октябрь 21, 2019, 11:15 »

Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца. Улыбающийся

Если бы всё было так просто, как на тех картинках (и не только), все давно бы уже на яхтах плавали Улыбающийся.
Записан

Пока сам не сделаешь...
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #56 : Октябрь 21, 2019, 11:45 »

Если бы всё было так просто, как на тех картинках (и не только), все давно бы уже на яхтах плавали Улыбающийся.
Так я про это и говорю. Принимать решение по фигурам на графике это что-то из области магии. Улыбающийся
Записан
ViTech
Гипер активный житель
*****
Offline Offline

Сообщений: 858



Просмотр профиля
« Ответ #57 : Октябрь 21, 2019, 11:57 »

Так я про это и говорю. Принимать решение по фигурам на графике это что-то из области магии. Улыбающийся

Я ж и поддерживаю Улыбающийся. В тех магических техниках не хватает слова "вероятно". Причём подозреваю, вероятность будет колебаться в районе 0.5, как и в любой другой точке графика Улыбающийся.
Записан

Пока сам не сделаешь...
Old
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 4349



Просмотр профиля
« Ответ #58 : Октябрь 21, 2019, 12:15 »

Я ж и поддерживаю Улыбающийся. В тех магических техниках не хватает слова "вероятно". Причём подозреваю, вероятность будет колебаться в районе 0.5, как и в любой другой точке графика Улыбающийся.
Обычная вероятность встретить динозавра - 50%, можно встретить, можно не встретить. Улыбающийся
Записан
m_ax
Джедай : наставник для всех
*******
Offline Offline

Сообщений: 2094



Просмотр профиля
« Ответ #59 : Октябрь 22, 2019, 22:44 »

Спасибо за ссылку, почитал. У меня сложилось несколько скептическое, и я бы даже сказал, неоднозначное чувство к корректности их оценки, поэтому от комментариев воздержусь, а выскажу свои соображения.
По мне, так это вообще все высосано из пальца. Улыбающийся

Если что, можно замутить совместное исследоание по реальным данным по этому вопросу) Взломаем, так сказать, систему)  Мне это интересно, чисто, с академической точки зрения)
Интересное предложение, но мне эта тема интересна в первую очередь для классификации физических сигналов.
Тут флуктуации появляются из-за среды распространения сигнала, внешних факторов, аппаратуры съёма и т.д.
На тестовых сигналах (с генерированных вручную) я сеть проверил, вроде результаты не плохие, но на реальных данных сеть пока не тестировалась.

Только плотно заняться этой темой у меня получиться не раньше нового года, сейчас загрузка большая на других проектах. Грустный
А сколько в вашей задаче класифицирующих параметров? Просто есть проблема (не тривиальная), когда один класс может относится к нескольким группамм.. И вот здесь возникает проблема разбития множества на группы с условием, чтоб минимизировать дисперсию наблюдаемой величины.. Т.е. вы подаёте на вход N размерный вектор параметров, а на выходе ожидаете M мерный вектор результатов..  У каждого результата есть своё мат. ожидание и дисперсия. Проблема сводится к тому, чтоб оптимально разделить всё множество на группы, и чтоб суммарная дисперсия была минимальна..  На сколько я знаю, эта задача ещё доконца не решена..

Пример: У вас есть множество еденичных векторов в D-мерном пространстве.. D>>1. Нужно оптимально, по определённому критерию, выделить N групп, включающих в себя все исчерпывающие классы таких векторов.. Сколько таких групп в среднем будет? Можно ли это как то аналитически вывести?

Я не знаю) Но есть идеи, как это можно с помощью computer science реализовать) 
« Последнее редактирование: Октябрь 22, 2019, 22:54 от m_ax » Записан

Над водой луна двурога. Сяду выпью за Ван Гога. Хорошо, что кот не пьет, Он и так меня поймет..

Arch Linux Plasma 5
Страниц: 1 2 3 [4] 5   Вверх
  Печать  
 
Перейти в:  


Страница сгенерирована за 0.06 секунд. Запросов: 23.