Гаусстың технологиялық бағдарламалық жасақтамасын салыстыру - Comparison of Gaussian process software

Бұл қорытынды жасауға мүмкіндік беретін статистикалық талдау бағдарламалық жасақтамасын салыстыру Гаусс процестері жиі қолданады жуықтау.

Бұл мақала тұрғысынан жазылған Байес статистикасы, ол әдетте қолданылатыннан өзгеше терминологияны қолдануы мүмкін кригинг. Келесі бөлімде кестеде келтірілген ақпараттың математикалық / есептеуіш мағынасын контексттік терминологиядан тәуелсіз нақтылау керек.

Бағандардың сипаттамасы

Бұл бөлімде төмендегі кестедегі бағандардың мағынасы егжей-тегжейлі көрсетілген.

Шешушілер

Бұл бағандар. Шешу үшін қолданылатын алгоритмдер туралы сызықтық жүйе арқылы анықталады дейін ковариациялық матрица, яғни ядроны бағалау арқылы құрылған матрица.

Дәл: ма жалпы нақты алгоритмдер жүзеге асырылады. Бұл алгоритмдер әдетте бірнеше мың мәліметтер нүктелеріне сәйкес келеді.
Мамандандырылған: мамандандырылған ба дәл есептердің нақты кластарына арналған алгоритмдер жүзеге асырылады. Қолдау көрсетілетін мамандандырылған алгоритмдер келесі түрде көрсетілуі мүмкін:
- Kronecker: тор деректеріндегі ажыратылатын ядролардың алгоритмдері.^[1]
- Toeplitz: біркелкі орналасқан мәліметтер бойынша қозғалмайтын ядролардың алгоритмдері.^[2]
- Семисеп.: жартылай бөлінетін ковариация матрицаларының алгоритмдері.^[3]
- Сирек: оңтайландырылған алгоритмдер сирек ковариациялық матрицалар.
- Блок: оңтайландырылған алгоритмдер қиғаш блок ковариациялық матрицалар.
Шамамен: ма жалпы немесе мамандандырылған шамамен алгоритмдер жүзеге асырылады. Қолдау көрсетілетін алгоритмдер келесі түрде көрсетілуі мүмкін:
- Сирек: кіріс кеңістігінде «индукциялық нүктелер» жиынын таңдауға негізделген алгоритмдер.^[4]
- Иерархиялық: а-мен ковариация матрицасын жуықтайтын алгоритмдер иерархиялық матрица.^[5]

Кіріс

Бұл бағандар Гаусс процесі бағаланатын нүктелер туралы, яғни. ${ displaystyle x}$ егер процесс болса ${ displaystyle f (x)}$ .

ND: көпөлшемді енгізуге қолдау көрсетіле ме. Егер ол болса, көп өлшемді шығару әрқашан кіріске өлшемді қосу арқылы мүмкін болады, тіпті тікелей қолдау болмаса да.
Нақты емес: ерікті емеснақты енгізуге қолдау көрсетіледі (мысалы, мәтін немесе күрделі сандар ).

Шығу

Бұл бағандар процестің нәтижесінде алынған мәндер туралы және олардың сәйкестендіру кезінде қолданылатын мәліметтермен байланысы туралы.

Ықтималдығы: ерікті емесГаусс ықтималдығы қолдау көрсетіледі.
Қателер: деректер нүктелеріндегі біркелкі емес өзара байланысты қателіктер Гаусстың ықтималдығы үшін қолдана ма. Қателерді ядро компонентін қосу арқылы қолмен өңдеуге болады, бұл баған оларды бөлек манипуляциялау мүмкіндігі туралы. Ішінара қателерді қолдау келесі түрде көрсетілуі мүмкін:
- iid: деректер нүктелері болуы керек тәуелсіз және бірдей бөлінген.
- Байланысты емес: деректер нүктелері тәуелсіз болуы керек, бірақ әр түрлі үлестірімге ие болуы мүмкін.
- Стационарлық: деректер нүктелерін өзара байланыстыруға болады, бірақ ковариация матрицасы а болуы керек Toeplitz матрицасы, атап айтқанда, бұл дисперсиялар біркелкі болуы керек дегенді білдіреді.

Гиперпараметрлер

Бұл бағандар қандай да бір жолмен нақты есептің анықтамасына енетін, бірақ Гаусс процесі сәйкес келмейтін айнымалылардың мәндерін табу туралы, мысалы, ядро формуласындағы параметрлер туралы.

Алдыңғы: ерікті түрде көрсетіле ме гиперприорлар үстінде гиперпараметрлер қолдау көрсетіледі.
Артқы: артқы жағын бағалауға қолдау көрсетіле ме нүктелік бағалау, мүмкін басқа бағдарламалық жасақтамамен бірге.

Егер «Алдыңғы» және «Артқы» ұяшықтардың екеуі де «Қолмен» болса, онда бағдарламалық жасақтама оңтайландыру / іріктеу алгоритміне енуге болатын шекті ықтималдықты және оның гр.ентті гиперпараметрлерін есептеу интерфейсін ұсынады, мысалы. градиенттік түсу немесе Марков тізбегі Монте-Карло.

Сызықтық түрлендірулер

Бұл бағандар процеске және оның сызықтық түрлендірулеріне мәліметтер нүктелерін бір уақытта орналастыру мүмкіндігі туралы.

Дерив.: кез-келген дифференциалданатын ядро үшін ядро тегістігі рұқсат етілген максимумға дейін туындылардың ерікті санын алуға бола ма. Ішінара сипаттамалардың мысалы, кейбір ядролар үшін максималды туынды немесе орындалу болуы мүмкін. Интегралдарды туындылардан жанама түрде алуға болады.
Ақырлы: ақырлы ерікті ${ displaystyle mathbb {R} ^ {n} to mathbb {R} ^ {m}}$ сызықтық түрлендірулерге көрсетілген мәліметтер нүктелерінде рұқсат етіледі.
Қосынды: әр түрлі ядроларды жинақтап, әр қосымшаға сәйкес процестерге бөлек қол жеткізуге бола ма. Бұл ақырлы сызықтық түрлендірудің нақты жағдайы, бірақ ол жалпы сипат болғандықтан бөлек жазылады.

Салыстыру кестесі

Аты-жөні	Лицензия	Тіл	Шешушілер			Кіріс		Шығу		Гиперпараметрлер		Сызықтық түрлендірулер			Аты-жөні
Аты-жөні	Лицензия	Тіл	Дәл	Мамандандырылған	Шамамен	ND	Нақты емес	Ықтималдығы	Қателер	Алдыңғы	Артқы	Дерив.	Ақырлы	Қосынды	Аты-жөні
PyMC3	Apache	Python	Иә	Kronecker	Сирек	ND	Жоқ	Кез келген	Өзара байланысты	Иә	Иә	Жоқ	Иә	Иә	PyMC3
GPvecchia	GNU GPL	R	Иә	Жоқ	Сирек, иерархиялық	Жоқ	Жоқ	Экспоненциалды отбасы	Өзара байланысты	Жоқ	Жоқ	Жоқ	Иә	Иә	GPvecchia
GpGp	MIT	R	Жоқ	Жоқ	Сирек	ND	Жоқ	Гаусс	Өзара байланысты	Иә	Иә	Жоқ	Иә	Иә	GpGp
GPy^[6]	BSD	Python	Иә	Жоқ	Сирек	ND	Жоқ	Көптеген	Байланысты емес	Иә	Иә	Жоқ	Жоқ	Жоқ	GPy
pyGPs^[7]	BSD	Python	Иә	Жоқ	Сирек	ND	Графиктер, қолмен	Бернулли	iid	Қолмен	Қолмен	Жоқ	Жоқ	Жоқ	pyGPs
Стэн	BSD, GPL	әдет	Иә	Жоқ	Жоқ	ND	Жоқ	Кез келген	Өзара байланысты	Иә	Иә	Жоқ	Иә	Иә	Стэн
GPyTorch^[8]	MIT	Python	Иә	Жоқ	Сирек	ND	Жоқ	Бернулли	Жоқ			Бірінші RBF			GPyTorch
GPML^[9]^[10]	BSD	MATLAB	Иә	Жоқ	Сирек	ND	Жоқ	Көптеген	iid	Қолмен	Қолмен	Жоқ	Жоқ	Жоқ	GPML
fbm^[10]	Тегін	C	Иә	Жоқ	Жоқ	ND	Жоқ	Бернулли, Пуассон	Байланысты емес, стационарлық	Көптеген	Иә	Жоқ			fbm
gptk	BSD	R	Иә	Блок?	Сирек	ND	Жоқ	Гаусс	Жоқ	Қолмен	Қолмен	Жоқ	Жоқ	Жоқ	gptk
SuperGauss	GNU GPL	R, C ++	Жоқ	Toeplitz^[a]	Жоқ	1D	Жоқ	Гаусс	Жоқ	Қолмен	Қолмен	Жоқ	Жоқ	Жоқ	SuperGauss
целерит^[3]	MIT	Python, Джулия, C ++	Жоқ	Семисеп.^[b]	Жоқ	1D	Жоқ	Гаусс	Байланысты емес	Қолмен	Қолмен	Жоқ	Жоқ		целерит
Джордж	MIT	Python, C ++	Иә	Жоқ	Иерархиялық	ND	Жоқ	Гаусс	Байланысты емес	Қолмен	Қолмен	Жоқ	Жоқ	Қолмен	Джордж
жүйке-тангенттер^[11]^[c]	Apache	Python	Иә	Блок, Kronecker	Жоқ		Жоқ	Гаусс	Жоқ	Жоқ	Жоқ	Жоқ	Жоқ	Жоқ	жүйке-тангенттер
СТК	GNU GPL	MATLAB	Иә	Жоқ	Жоқ	ND	Жоқ	Гаусс	Байланысты емес	Қолмен	Қолмен	Жоқ	Жоқ	Қолмен	СТК
UQLab^[12]	Меншіктік	MATLAB													UQLab
ooDACE^[13]	Меншіктік	MATLAB				ND	Жоқ								ooDACE
GPstuff^[10]	GNU GPL	MATLAB, R	Иә	Жоқ	Сирек	ND	Жоқ	Көптеген		Көптеген	Иә	Бірінші RBF			GPstuff
GSTools	GNU LGPL	Python	Иә	Жоқ	Жоқ	ND	Жоқ	Гаусс	Жоқ	Жоқ	Жоқ	Жоқ	Жоқ	Жоқ	GSTools
GPR	Apache	C ++	Иә	Жоқ	Сирек	ND	Жоқ	Гаусс	iid	Кейбіреулер қолмен	Қолмен	Біріншіден	Жоқ	Жоқ	GPR
scikit-үйрену	BSD	Python	Иә	Жоқ	Жоқ	1D	Жоқ	Бернулли							scikit-үйрену
PyKrige	BSD	Python				2D, 3D	Жоқ								PyKrige
GPflow^[6]	Apache	Python	Иә	Жоқ	Сирек			Көптеген		Иә	Иә				GPflow
Аты-жөні	Лицензия	Тіл	Дәл	Мамандандырылған	Шамамен	ND	Нақты емес	Ықтималдығы	Қателер	Алдыңғы	Артқы	Дерив.	Ақырлы	Қосынды	Аты-жөні
Аты-жөні	Лицензия	Тіл	Шешушілер			Кіріс		Шығу		Гиперпараметрлер		Сызықтық түрлендірулер			Аты-жөні

Ескертулер

^ SuperGauss суперфастты жүзеге асырады Toeplitz шешуші есептеу қиындығымен ${ displaystyle O (n log ^ {2} n)}$ .
^ целерит шешуге болатын ядролардың белгілі бір субальгебрасын ғана жүзеге асырады ${ displaystyle O (n)}$ .^[3]
^ жүйке-тангенсі - бұл шексіз кең нейрондық желілерге арналған мамандандырылған пакет.

Пайдаланылған әдебиеттер

^ П. Каннингем, Джон; Гилбоа, Элад; Saatçi, Yunus (ақпан 2015). «Құрылымдық Гаусс процестері үшін өлшемді қорытынды жасау». Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары. 37 (2): 424–436. дои:10.1109 / TPAMI.2013.192. PMID 26353252. S2CID 6878550.
^ Лейт, Дж .; Чжан, Юнонг; Leithead, W. E. (2005). «O (N2) операцияларын және O (N) деңгейлерін сақтауды Toeplitz есептеуіне негізделген уақыттық сериялы Гаусс процесінің регрессиясы». Шешімдер мен бақылау бойынша 44 IEEE конференциясының материалдары: 3711–3716. дои:10.1109 / CDC.2005.1582739. S2CID 13627455.
^ ^а ^б ^c Бригадир-Макки, Даниэль; Ангус, Рут; Агол, Эрик; Амбикасаран, Сиварам (9 қараша 2017). «Астрономиялық уақыт серияларына қосымшалармен жылдам және ауқымды Гаусс процесін модельдеу». Астрономиялық журнал. 154 (6): 220. arXiv:1703.09710. Бибкод:2017AJ .... 154..220F. дои:10.3847 / 1538-3881 / aa9332. S2CID 88521913.
^ Кинонеро-Кандела, Хоакин; Расмуссен, Карл Эдуард (5 желтоқсан 2005). «Гаусс процесінің сирек регрессиясының біртұтас көрінісі». Машиналық оқытуды зерттеу журналы. 6: 1939–1959. Алынған 23 мамыр 2020.
^ Амбикасаран, С .; Бригадир-Макки, Д .; Грингард, Л .; Хогг, Д. В .; O'Neil, M. (1 ақпан 2016). «Гаусс процестеріне арналған жылдам жылдам әдістер». Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары. 38 (2): 252–265. arXiv:1403.6015. дои:10.1109 / TPAMI.2015.2448083. PMID 26761732. S2CID 15206293.
^ ^а ^б Мэттьюс, Александр Г. ван дер Уилк, Марк; Никсон, Том; Фудзии, Кейсуке; Букувалас, Алексис; Леон-Виллагра, Пабло; Гахрамани, Зоубин; Хенсман, Джеймс (сәуір 2017). «GPflow: TensorFlow пайдаланатын Гаусс процесінің кітапханасы». Машиналық оқытуды зерттеу журналы. 18 (40): 1–6. arXiv:1610.08733. Алынған 6 шілде 2020.
^ Нейман, Марион; Хуанг, Шань; Э. Марталер, Даниэль; Керстинг, Кристиан (2015). «pyGPs - Гаусс процесінің регрессиясы мен жіктелуіне арналған Python кітапханасы». Машиналық оқытуды зерттеу журналы. 16: 2611–2616.
^ Гарднер, Джейкоб Р; Плейс, Джеофф; Биндель, Дэвид; Вайнбергер, Килиан Q; Уилсон, Эндрю Гордон (2018). «GPyTorch: Графикалық процессордың үдеуімен Blackbox Matrix-Matrix Gaussian Process» (PDF). Нейрондық ақпаратты өңдеу жүйесіндегі жетістіктер. 31: 7576–7586. arXiv:1809.11165. Алынған 23 мамыр 2020.
^ Расмуссен, Карл Эдуард; Никиш, Ханнес (қараша 2010). «Машиналық оқытуға арналған Гаусс процестері (GPML) құралдар жинағы». Машиналық оқытуды зерттеу журналы. 11 (2): 3011–3015. дои:10.1016/0002-9610(74)90157-3. PMID 4204594.
^ ^а ^б ^c Ванхатало, Джарно; Рихимяки, Яакко; Хартикайнен, Джуни; Жыланки, Паси; Толванен, Вилл; Вехтари, Аки (сәуір 2013). «GPstuff: Гаусс процестерімен байес модельдеу». Машиналық оқытуды зерттеу журналы. 14: 1175−1179. Алынған 23 мамыр 2020.
^ Новак, Роман; Сяо, Лечао; Хрон, Джири; Ли, Джэхун; Алеми, Александр А .; Соль-Дикштейн, Яша; Шоенхольц, Сэмюэл С. (2020). «Нейрондық тангенттер: жылдам және қарапайым шексіз жүйке жүйелері Python-да». Оқу өкілдіктері бойынша халықаралық конференция. arXiv:1912.02803.
^ Марелли, Стефано; Судрет, Бруно (2014). «UQLab: MATLAB-та белгісіздік мөлшерін анықтауға арналған негіз» (PDF). Осалдық, белгісіздік және тәуекел. Мөлшерлеу, азайту және басқару: 2554–2563. дои:10.3929 / ethz-a-010238238. Алынған 28 мамыр 2020.
^ Кукуйт, Иво; Дхейн, Том; Demeester, Piet (2014). «ooDACE құралдар жәшігі: икемді нысанға бағытталған Kriging іске асыруы» (PDF). Машиналық оқытуды зерттеу журналы. 15: 3183–3186. Алынған 8 шілде 2020.

[11] SuperGauss суперфастты жүзеге асырады Toeplitz шешуші есептеу қиындығымен ${ displaystyle O (n log ^ {2} n)}$ .

[12] целерит шешуге болатын ядролардың белгілі бір субальгебрасын ғана жүзеге асырады ${ displaystyle O (n)}$ .^[3]

[14] жүйке-тангенсі - бұл шексіз кең нейрондық желілерге арналған мамандандырылған пакет.

[gilboa2015-1] П. Каннингем, Джон; Гилбоа, Элад; Saatçi, Yunus (ақпан 2015). «Құрылымдық Гаусс процестері үшін өлшемді қорытынды жасау». Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары. 37 (2): 424–436. дои:10.1109 / TPAMI.2013.192. PMID 26353252. S2CID 6878550.

[zhang2005-2] Лейт, Дж .; Чжан, Юнонг; Leithead, W. E. (2005). «O (N2) операцияларын және O (N) деңгейлерін сақтауды Toeplitz есептеуіне негізделген уақыттық сериялы Гаусс процесінің регрессиясы». Шешімдер мен бақылау бойынша 44 IEEE конференциясының материалдары: 3711–3716. дои:10.1109 / CDC.2005.1582739. S2CID 13627455.

[foreman2017-3] а ^б ^c Бригадир-Макки, Даниэль; Ангус, Рут; Агол, Эрик; Амбикасаран, Сиварам (9 қараша 2017). «Астрономиялық уақыт серияларына қосымшалармен жылдам және ауқымды Гаусс процесін модельдеу». Астрономиялық журнал. 154 (6): 220. arXiv:1703.09710. Бибкод:2017AJ .... 154..220F. дои:10.3847 / 1538-3881 / aa9332. S2CID 88521913.

[candela2005-4] Кинонеро-Кандела, Хоакин; Расмуссен, Карл Эдуард (5 желтоқсан 2005). «Гаусс процесінің сирек регрессиясының біртұтас көрінісі». Машиналық оқытуды зерттеу журналы. 6: 1939–1959. Алынған 23 мамыр 2020.

[ambikasaran2016-5] Амбикасаран, С .; Бригадир-Макки, Д .; Грингард, Л .; Хогг, Д. В .; O'Neil, M. (1 ақпан 2016). «Гаусс процестеріне арналған жылдам жылдам әдістер». Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары. 38 (2): 252–265. arXiv:1403.6015. дои:10.1109 / TPAMI.2015.2448083. PMID 26761732. S2CID 15206293.

[matthews2017-6] а ^б Мэттьюс, Александр Г. ван дер Уилк, Марк; Никсон, Том; Фудзии, Кейсуке; Букувалас, Алексис; Леон-Виллагра, Пабло; Гахрамани, Зоубин; Хенсман, Джеймс (сәуір 2017). «GPflow: TensorFlow пайдаланатын Гаусс процесінің кітапханасы». Машиналық оқытуды зерттеу журналы. 18 (40): 1–6. arXiv:1610.08733. Алынған 6 шілде 2020.

[neumann2015-7] Нейман, Марион; Хуанг, Шань; Э. Марталер, Даниэль; Керстинг, Кристиан (2015). «pyGPs - Гаусс процесінің регрессиясы мен жіктелуіне арналған Python кітапханасы». Машиналық оқытуды зерттеу журналы. 16: 2611–2616.

[gardner2018-8] Гарднер, Джейкоб Р; Плейс, Джеофф; Биндель, Дэвид; Вайнбергер, Килиан Q; Уилсон, Эндрю Гордон (2018). «GPyTorch: Графикалық процессордың үдеуімен Blackbox Matrix-Matrix Gaussian Process» (PDF). Нейрондық ақпаратты өңдеу жүйесіндегі жетістіктер. 31: 7576–7586. arXiv:1809.11165. Алынған 23 мамыр 2020.

[rasmussen2010-9] Расмуссен, Карл Эдуард; Никиш, Ханнес (қараша 2010). «Машиналық оқытуға арналған Гаусс процестері (GPML) құралдар жинағы». Машиналық оқытуды зерттеу журналы. 11 (2): 3011–3015. дои:10.1016/0002-9610(74)90157-3. PMID 4204594.

[vanhatalo2013-10] а ^б ^c Ванхатало, Джарно; Рихимяки, Яакко; Хартикайнен, Джуни; Жыланки, Паси; Толванен, Вилл; Вехтари, Аки (сәуір 2013). «GPstuff: Гаусс процестерімен байес модельдеу». Машиналық оқытуды зерттеу журналы. 14: 1175−1179. Алынған 23 мамыр 2020.

[novak2020-13] Новак, Роман; Сяо, Лечао; Хрон, Джири; Ли, Джэхун; Алеми, Александр А .; Соль-Дикштейн, Яша; Шоенхольц, Сэмюэл С. (2020). «Нейрондық тангенттер: жылдам және қарапайым шексіз жүйке жүйелері Python-да». Оқу өкілдіктері бойынша халықаралық конференция. arXiv:1912.02803.

[marelli2014-15] Марелли, Стефано; Судрет, Бруно (2014). «UQLab: MATLAB-та белгісіздік мөлшерін анықтауға арналған негіз» (PDF). Осалдық, белгісіздік және тәуекел. Мөлшерлеу, азайту және басқару: 2554–2563. дои:10.3929 / ethz-a-010238238. Алынған 28 мамыр 2020.

[couckuyt2014-16] Кукуйт, Иво; Дхейн, Том; Demeester, Piet (2014). «ooDACE құралдар жәшігі: икемді нысанға бағытталған Kriging іске асыруы» (PDF). Машиналық оқытуды зерттеу журналы. 15: 3183–3186. Алынған 8 шілде 2020.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[a]

[b]

[11]

[c]

[12]

[13]