Transcript
! "
%&' && &()
# "
$
* + %,' ,( '- ,.)
/ # 0 012 3
"4 5
012 3
4
012
012
7
" #
012
& 3
"4 6 3 $
# 1 3
# $ # # 3 8 4 3
"
#9 "4
#
8 # Æ
%'-)
" # 4 3 " 3
# 0
3
+35 + " # 8 !
3
4
: :
<
; < ; &
3
process noise
measurement noise
vk
nk
input
output
uk
x k +1
xk
Δ
F
yk H
xk state ; <=
; <
6 8
3 34
9 ; & # 9 ; (
> "
:
; (
3
5
" ?
:
"
5 3
* 5 3
: @ :
4 ; ' @
3
; '
; ,
Æ A 4 B
9 * %';) > %'<) C & 3
# 9 ; '
8
&
4
: :
; D ; ;
3
4
" 4 8 C , 3 8 3 4+35 C D 8 5 # 4 9 ; , 3 3 ! # ! 8 # 9 ; ( * 9
; D
# + C " 8 3 8 Æ
# 8 3 E
#
0
*
4 ++9
=
F
:
++9
3
0
A B "
; G
E
:
; -
: 5
; <.
:
(
; <<
"
4
9
9 "
; <&
3 0
4
4
:
:
.
:
:
; <(
:
# 4
; - ; <. ; <<
+ 4C
4
"
3 0 E
"
F *
F
:
:
:
@
%
)
; <' ; <,
F
:
:
F
:
) %
) %
H
:
F
; <; ; 1 %(-)
%,.) + * # CK "
3 #
x − γ P x ⎤⎦
#
x +γ Px
2 #
i
Weighted sample covariance
"
8 3 ; ( &4 = + 4C M 5 M #
, #
% & (
# 3 # 4
; <' 12 " =
)
: %
# ; (.
12 3
# ; ( < 6 3 $ 7
½ 12 Ô ¾ È 1 2 + / 0 * ½ " 1 2 " * , 3 * * 14 35 " 2 % * / 0
" " " % . 3 , / 0 Ê
;
Linearized (EKF)
Actual (sampling)
UT sigma points
covariance
mean
Ý
Ì
Ü
weighted sample mean and covariance
transformed sigma points
true mean true covariance
Ì
UT mean
Ü
UT covariance
! " # $
" !
; (=
) * 3
#
12N ; ( & 3 3 3
K
"
9 ; ' 3
4
8 3 3
C
5
D
7 3 4 4
C
5 K Æ 4 #
8 3 E
G
5 =
F :
F : % ) : % F F ) % ) : %F
+ +)
:
<
F F ) :
%
; (, ; (D ; (;
+ + + +
+ +
; (G
C =
: F
F @
F
; (-
=
: %
F : : % : % F :
)
; '.
; '<
F
)%
F
)
; '&
)
; '(
; ''
+ =
:
:
%
%
F
)%
F
)
F
)%
F
)
; ',
; 'D
F : F @ F : :
)
: %
:
:
: %
; '; ; 'G ; '-
)
:
@
:
:
; ('
!,!#$
-
:
5 =
F : % ) : % F F )
<
; ,. ; ,<
C =
: F
F @
F
; ,&
=
) : %
F : : % F : % ) F :
; ,( ; ,'
)%
F
@
)
; ,, ; ,D ; ,;
+ =
:
:
%
%
@
F
)%
F
)
F
)%
F
)
; ,G
; ,-
F : F @ F :
:
@
:
:
; D. ; D< ; D& :
: : ; (' !,!"$ $
<.
:
θ2
θ1
u
l2 , m2 l1 , m1
M x % #
; '=
#
4 %&' && &() * 3
3
4
) ! 8 9 ; ' 4
: % O O O )
%
)
:
@
@ P @ & P P : @ @ & O @ O
; D(
; D'
P @ & P : < @ & @ & O
@ & P @ '
(
@
@ & P @ ( P : & O '
P
; D, ; DD
; D; ; DG
4 5 . .& 5
1 9K1 5
8
' 467# 8 * " * 1 2 9 1 2 " "
" : * ;<7 1 21 2 1 2 1 2 " 7 # * 1 2 1 2
" 8
" " ;<7 !
<<
#
3 5 Q 4 @&,R4&' / , ; , C
#
# 5 *
observed
observed 10 5
2
cart velocity
cart position
4
0 −2 −4
0 −5 −10
0
50
100
−15
150
0
50
un−observed 0.5 0 −0.5 −1 −1.5 0
50
100
5 0 −5 −10 −15
150
0
50
observed
150
10
pendulum 2 velocity
pendulum 2 angle
100
un−observed
0.5
0 true state noisy observation EKF estimate UKF estimate
−0.5
−1
150
10
pendulum 1 velocity
pendulum 1 angle
1
−2
100
un−observed
0
50
100
5 0 −5 −10 −15 −20
150
time
0
50
100
150
time
& # # ! ' # ( " ! )*+ &,-. /*" # /+" /+0
; ,=
" = " " #$% .$%
<&
Estimation of Mackey−Glass time series : EKF 5
x(k)
clean noisy EKF
0
−5 200
210
220
230
240
250
260
270
280
290
300
k
Estimation of Mackey−Glass time series : UKF 5
x(k)
clean noisy UKF
0
−5 200
210
220
230
240
250
260
270
280
290
300
k
Estimation Error : EKF vs UKF on Mackey−Glass normalized MSE
1 EKF UKF
0.8 0.6 0.4 0.2 0
0
100
200
300
400
500
600
700
800
900
1000
k
1 2 3 3 ! 3 !
; D=
- . 3 # 4
0 4 + 40 4(. %(, &G) 4 "
:
5
@
3
; D-
6 3 0 + 40 4
:
@ 4 =
:
< :
.
.
.
.
.
@
.
.
<
.
<(
<
. @ .
: <
.
.
4
@
; ;.
# 5 ; D 4
#
961 #
4 (E
8 " 3 4
"
Q
+48 %'D <&)
"
8
%&-) "
F
8 "
4 F
=
: @
F : % F @ F )
; ;< ; ;&
" " 7 "
5 4
:
@
; ;( ; ;'
5 8
" S #9 #
" ; ; # 5
+ 40 4 4
4
3
5 9< 3 9& #9
E 9 8 "
<'
xk
time series
xˆk − L−1 ; ;=
3 4# 3 3 !
-! /
#$
01
xˆk +1
-! /
% &'((
01
9<
. &.
. ;.
. &;
9<
. (,
. (&
. &G
9&
. &.
. (<
. <-
9&
. (,
. &&
. &(
#9
. <.
. &'
. .G
#9
. &(
. &<
. &4<.4<.4'
: %< <)
@.G
%< <)
.G
; <.
" # " " <..
<. ... 8 #
<-
True Mapping
Learning Curves on Test Set 0.7
averaged RMSE
−1
x2
−0.5
0
0.5
−0.5
0
0.5
0.6 0.5 0.4 0.3 0.2
1
0
50
100
150
200
x1
epochs
NN Classification : EKF trained
NN Classification : UKF trained
−1
−1
−0.5
−0.5
x2
x2
1 −1
EKF UKF
0
0.5
1 −1
0
0.5
−0.5
0
0.5
1 −1
1
x1
−0.5
0
0.5
1
x1
& =9 - # ! ( ) . / . 7*+*+> 185 . - ## 1 . * / *++ 0!
; <.=
&.
Inverted Double Pendulum : parameter estimation
0
10
model MSE
EKF UKF
−5
10
5
10
15
20
25
30
35
40
iteration
.
: # ! ) / . - ## 1 0
; <<=
) 1 9 ; ( < 4
: % ) 5 <.
: % O O O ) ; << +9
# /
" =
. ,.
. ;,
. ;,
. ,.
< ,.
#
. ,.
. ;,
. ;,
. ,.
< '-
. ,.
. ;,
. DG
. ',
< (,
&35 ' & 3 5 E %'() &4 4 9 " "
: <.. @ <
: < : <
5
; -(
E
5 # 4 5 4+9 4 4 %'&)=
@ .: @ :
&<
; -' ; -,
A B "3 5 7
:
5
+9 5
4 5
:
4
C , 1 #
/
5 3
: %<.
< )
4
5 N N 5 5 ; -& S & # # *
5 +9 # # 4 ; <&
S "
5
K4 4
> ? 4+ 9 A B +8 ?8E 3
# 5
Function Value
20
10
EKF UKF 0
f(X)
10
−20
10
−40
10
1
2
3
4
5
6
7
k
Model Error
20
10
EKF UKF 0
MSE
10
−20
10
−40
10
1
2
3
4
5
6
7
k
- # 9 9
9 $ # ! ( ) . 0
; <&=
. /
" > 3 & " " * * "
* ?4# * " * * " Ö
&&
!
1
; ; 8 4
3 $ K 1 4> 4 +34 3 4+35 + 8 C , D 3
K # 4 $ #
%,&) 4
8
4 4"
4 4"
4
4 #
* %(D) 4 * = % ) 4
Q =
:
: <
.
.
@
; -D
@
; -;
Q 4
8 #
- .
* 4 #
" + 40 4(. 961
(E
4
0
(E 8 D4<.4< +?>
!"
0 961
" + 40 8 ,4(4< +?> 6 3
4 8
3 / Q ; <( 8 " + 40 K # #
&(
0.55
Chaotic AR neural network 0.5 Dual UKF Dual EKF Joint UKF Joint EKF
normalized MSE
0.45
0.4
0.35
0.3
0.25 epoch 0.2 0
5
10
15
20
25
30
0.7
Mackey−Glass chaotic time series Dual EKF Dual UKF Joint EKF Joint UKF
0.6
normalized MSE
0.5
0.4
0.3
0.2
0.1
0
epoch 5
10
15
20
25
30
35
40
45
50
55
60
Estimation of Mackey−Glass time series : Dual UKF 5
x(k)
clean noisy Dual UKF
0
−5 200
210
220
230
240
250
260
270
280
290
300
k
? ! ? *+ @ < 3 ! A B
C ! A6
B 3 !
; <(=
&'
/ 3 Q # 4 ; <' # 9 #
Q
*
+ C
E *
# 6 3 961 3
#
; <,
D. 961 /
8 "3
#
<.. E
Q 9 6
#
5 /
5 #
u1 = N (0,1)
u2 = N (0,1)
1 0 0 ⎤ ⎡ x1 ⎤ ⎡ x1 ⎤ ⎡ 0 2 ⎢ ⎥ ⎢ x −ω −2ζ1ω1 0 0 ⎥ ⎢ x1 ⎥ ⎢ 1⎥ = ⎢ 1 ⎥⎢ ⎥ 0 0 1 ⎥ ⎢ x2 ⎥ ⎢ x2 ⎥ ⎢ 0 ⎢ ⎥ ⎢ ⎥⎢ ⎥ 0 −ω22 −2ζ 2ω2 ⎦ ⎣ x2 ⎦ ⎣ x2 ⎦ ⎣ 0 y1 (pos)
y2 (pos) ; <'=
1 & !
20
ω1 (rad/s)
19.5 19 EKF UKF Actual
18.5 18 0
1
2
3
4
5
6
7
8
9
10
54 EKF UKF Actual
53.5 ω2 (rad/s)
53 52.5 52
51.5 51 50.5 0
1
2
3
4
; <,=
5 Time (s)
6
7
&,
8
9
10
#6 701 3 #
* Q
<, %') 4 8 * > 8E 8 C9 %<.)
8
# " + C 9 9
E ; - ; <. ; <<
3
+ C
+ "
3
:
9
M : <
3
0
Æ K
0
; -G
:
0
<
0
; --
++9 F
:
)
%
3
" 3 9
"
+ C
"
9
Æ
:
8
Æ
3
3
C
<
$ +
7
*
%
9
3
0
&G
0 9
:
:
:
9 % 9 9 % 9 9 9 0 9 % 9 9 % 9 & 9 0 9 % 9 9
0 9
9 5 9 9 & : % 9 * 5
&
0 9
; <..
<
0 9 & 9 % 9 9 0 9 & 9 % 9 9 ¼ ¼ 9 9 ¼ ¼ 9 0 9 & 9 % 9 9 & 9 % 9 9 ¼ & 9 0 9 ¼ & 9
:
:
:
:
¼ 5 3
%
8
3
9 : % 9 % 9
%
+
= &
:
&
9
; <.<
9 9
; <.<
%
%
3
< 0 & : 0 9 0 & ; <.& < & : & & N 5 & Q
&-
%
9
0 9 &
3
3
"
3
4
9 :
Æ 9
&
; <.(
; <.'
"
Q
:
&
3
; -G ; -- 3
Æ
0 9
:
0
4
0 3 3 4
) 0 / / ) 9 9 =
4
5 < 5 8 /
4
"
/
8
+ C + 4C +C+C
A B : %-)
9
,)'-
%<< '' 'G)
%<, (<)
9 4 9 1 K
<
M : <
&
M : <
/
&
; 1
8 ; D < " " =
:<
%
# =
:<
=
; <
:
I
I
@
I
:
I
:
: % I )% I ) I :1 :
; <<<
; <<&
; <<(
; <<'
:
:
%
I )% I )
; <<,
% I ) I )%
; < " "
('
1& ) 3 4
: < @ $ #'
0
! (
8 4
: .& ( : .,
(
.....< 0
@ ( & @
4 5
@
; <<-
#
: ..'
(
:
@(
&
: .,
(
.
(.
)
(.
; <&.
0
/ "
: < D. 3 <..
8 " &..
#
: <
: .
: &
; < 5 / " 4 4 +9 ; &. / "
#>
& 0 4 & ) K "
3 %
%() E 9
*
:
,
:
+ @ +
01
; <&< ; <&&
/
3 "
. (;'
. .<,
# #
. &G.
. .<&
> =
. '&'
. .,(
> = +C+C
. '<;
. .,,
> =
. (<.
. . = +C+C
. (.;
. .<,
> = # A
. .;.
. ..D
. .;'
. ..G
B
> = # +C+C
& ! 3
*++ !
; <=
(,
1&
Filter estimates (posterior means) vs. True state 9
8
7
E[x(t)]
6
5
4
3 True x PF estimate PF−EKF estimate PF−UKF estimate
2
1
0
10
20
30
40
50
60
Time
; &.=
*
5 # < !
+
.
:
:
.
,
+ @ - @
.
.
. &
-
4
,. ! 6 3 " # # 3
! 5 # 3 & )F0" )G0 $ )
; &<=
<) )
01
-
. .;G
3
. .(;
# #
. .(;
> =
. .(;
> =
. ..-
. ..-
. .(,
3
. .&(
# #
. .&(
> =
. .&(
> =
. ..;
. ..G
' $ *++ ! # # 3 !
; &=
#
4
(;
−3
Interest rate
14
x 10
12 10 8 6 4
0
50
100
150
200
250
0
50
100
150
200
250
0.21
Volatility
0.2 0.19 0.18 0.17 0.16 0.15 0.14
Time (days)
; &&=
" #
!
3
3 4 " # # " # * # 3
8 Æ 4
8 3 E
3
4
#
$ 7
N 3N
4
S #
# 8 0
4
S
(G
7
4 Q
0 Æ # "
3 4
3 " " 9 ; D
*
"
4 / 4 "
S S
5 # 3 #
C & ,
# 3 4+35 C D C
"
#
$ %& '
69 C94..G(<.D 1 4-;<&('D K81>8
((D<,4-G4C4(, + KQX 8 E "
)""" 0 & " (( <=((GW('( <--;
%() E + 9
"
1
G<=D(;WD,- <-;(
%') 1 * E 8 8 + 8 88 C K C >1C
C8 %,) $ 1 C C 6 KN95 C > + 6 74" 4 1 = ><
) % ( & &
K E
? +
<--D
%D) $ 0
2 # ( ( + $
>K C #
K <--- %;) $ 0 + 6Q 8 7 0 8 K 9 + C
( %
<& '=-,,W--( &...
%G) 8 K S 4 E " 1 C# KR4 6 60R 1 (<. K C # <--G %-) 8 K $ 0 6 $ 0
+ C
8 K $ 0 6 $ 0
#
# %
9 42 &...
%<.) $ > K K 6 9 +K K 4<, ? C9 C ? + N K 8 8
# %<<) E
* <--'
0 2
/ 1$ '
9 8+ > <-G&
%<&) Y 0 9 1 ? + 4
+ $ 9 8 9 K 8 C
334 3556 %
& ( )
+ > <---
%<() 6 $ 0 K $ 9 8 + 9 6 R40 E
)""
'D
<'. &=<.;W<<( 8 <--(
%<') 9 7
& 0
> 47 ( <--D
%<,) 7 + C "
%
7 / / 7 8
%
#
)""" 0
&...
0
('(W(,D C # <--D
%&<) 9 $ $ 9 #
J 0 6 >
& %
%&&) 9
> 7 <--;
(. &,; <-;-
" % % 9
%<-)
1
,- <= 6 Z <-;.
6
+
<--D
&...
83
110
6 4 K
=RR 3 R
HQR R R 5 R# 5 %&() 9 $ $ $ # 8 6 3 6 9 & 4 0 % <--;
33 ) & :8 /
%&') 9 $ $ $ # 7 K4* 8 "
& % %
%&,) 1
6 6 = > 9 1 ?8#1G;&DD& ? 8 6 ? <-G; %&-) ? ?
7 "
$ *
[ 9 6 Z <-GD
%(.) $ 9 ? 1 C E
&
1 &
-. '(.=,D;W,;D $ <--,
%(<) $ 9 ? 1 C 9 + C
& &
%(&) ? ?Q 9P P
1
-(=<.(&W<.'' <--G
0 '
C +8 <-G(
';
)
+ >
%(() K $ C + =RR R R *** %(') K $ C +
%
%(,) + +
8 > E E 6
(
'=''GW';& <--&
? 0
S
<-; &G; <-;; %(D) + E + 8 4 "
( + $
)&0"8 ) & ) & (
<-;W&.. <--.
( " # ( 0 8 # >K S 0 &...
%(;) 8 6
%(G) + 6Q
9 "
+ C +5 +
)
$ >
& (
G -D.W-DD <--D
%(-) + 6L 6 > S 1 8 K 4 9 6 9 1
++41 >4<--G4<, K + +4
R K 8 #
K &G ? K
8 &... %'.) * 7 > 9 8 * 2 E >
0 & %
C #
( ' % 4
> & <--&
%'<) 0 2 > ? 8 K 3 4 ? 6
)1%((
< ;; ? 8 3 K 3
)%((
(
%',) 8 7 9 8 9 49 8 8 1?9
#< %'D) 1 7 9
)"""
1 C# KR4 6 60R 1 (G. C #
K
C 8 &... %,.) 1 + 8 * Æ 4 "
0 " & ( ( + $ ,"&((-
E E
8 &..< %,<) 1 + 8 * 4
4 "
0 ) % & / /
9 ? C # +
&..<
%,&) 8 * 8 6 6 3 " =
= $
( ( + $
<--;
%,() 8 * 1 + # 6 >??? & / % % ,& %%- ? ? 8 C S &...
%,') 8 * 1 + 8 6 K # 4
9 8 9 ? 41 +P
3>
& ( )
DDDWD;& + > &...
%,,) 2 9 Y 2 E 9 ?
9 + 4C
& ' %
'-
(D (=&.<,W&.&& <-;,
