1KM's Course of growth

行人惯导入门教程 惯性导航基本原理-(入门两天半).pdf 2013_Tutorial_ImplementingaPedestrianTracker.pdf

微软大牛教你怎样写一篇好文章，内容丰富，翔实，可操作性强。

Extensive research in the field of monocular SLAM for the past fifteen years has yielded workable systems that found their way into various applications in robotics and augmented reality. Although filter-based monocular SLAM systems were common at some time, the more efficient keyframe-based solutions are becoming the de facto methodology for building a monocular SLAM system. The objective of this paper is threefold: first, the paper serves as a guideline for people seeking to design their own monocular SLAM according to specific environmental constraints. Second, it presents a survey that covers the various keyframe-based monocular SLAM systems in the literature, detailing the components of their implementation, and critically assessing the specific strategies made in each proposed solution. Third, the paper provides insight into the direction of future research in this field, to address the major limitations still facing monocular SLAM; namely, in the issues of illumination changes, initialization, highly dynamic motion, poorly textured scenes, repetitive textures, map maintenance, and failure recovery.

林雪平大学团队，使用雷达与SIFT的方法，做的视觉SLAM项目，对后人很有启发

人工智能与智能机器人的讲义，包含了神经网络，机器人，路径规划的入门知识。

概率机器人的作者塞巴斯蒂安的授课PPT，包括离散滤波，fastslam，卡尔曼滤波，粒子滤波，运动模型，感知模型，slam等等

xIMUGUI惯性导航的GUI，把九轴的惯性导航数据，加速度，陀螺仪，磁力计信息输出

TSW1400+mmwave-DevPack数据采集指导，清楚明了，mmWave Sensor Raw Data Capture Using the TSW1400 Board 1.Requirements&Software; setup 2.Hardware setup 3.Capturing the radar data 4.Additional information

Contents Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii Part One — Matrices 1 Basic properties of vectors and matrices 3 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 Matrices: addition and multiplication . . . . . . . . . . . . . . . 4 4 The transpose of a matrix . . . . . . . . . . . . . . . . . . . . . 6 5 Square matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6 Linear forms and quadratic forms . . . . . . . . . . . . . . . . . 7 7 The rank of a matrix . . . . . . . . . . . . . . . . . . . . . . . . 8 8 The inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 9 The determinant . . . . . . . . . . . . . . . . . . . . . . . . . . 10 10 The trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 11 Partitioned matrices . . . . . . . . . . . . . . . . . . . . . . . . 11 12 Complex matrices . . . . . . . . . . . . . . . . . . . . . . . . . 13 13 Eigenvalues and eigenvectors . . . . . . . . . . . . . . . . . . . 14 14 Schur’s decomposition theorem . . . . . . . . . . . . . . . . . . 17 15 The Jordan decomposition . . . . . . . . . . . . . . . . . . . . . 18 16 The singular-value decomposition . . . . . . . . . . . . . . . . . 19 17 Further results concerning eigenvalues . . . . . . . . . . . . . . 20 18 Positive (semi)de�nite matrices . . . . . . . . . . . . . . . . . . 23 19 Three further results for positive de�nite matrices . . . . . . . 25 20 A useful result . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2 Kronecker products, the vec operator and the Moore-Penrose inverse 31 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2 The Kronecker product . . . . . . . . . . . . . . . . . . . . . . 31 3 Eigenvalues of a Kronecker product . . . . . . . . . . . . . . . . 33 4 The vec operator . . . . . . . . . . . . . . . . . . . . . . . . . . 34 5 The Moore-Penrose (MP) inverse . . . . . . . . . . . . . . . . . 36 6 Existence and uniqueness of the MP inverse . . . . . . . . . . . 37 v vi Contents 7 Some properties of the MP inverse . . . . . . . . . . . . . . . . 38 8 Further properties . . . . . . . . . . . . . . . . . . . . . . . . . 39 9 The solution of linear equation systems . . . . . . . . . . . . . 41 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3 Miscellaneous matrix results 47 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2 The adjoint matrix . . . . . . . . . . . . . . . . . . . . . . . . . 47 3 Proof of Theorem 1 . . . . . . . . . . . . . . . . . . . . . . . . . 49 4 Bordered determinants . . . . . . . . . . . . . . . . . . . . . . . 51 5 The matrix equation AX = 0 . . . . . . . . . . . . . . . . . . . 51 6 The Hadamard product . . . . . . . . . . . . . . . . . . . . . . 53 7 The commutation matrix K mn . . . . . . . . . . . . . . . . . . 54 8 The duplication matrix D n . . . . . . . . . . . . . . . . . . . . 56 9 Relationship between D n+1 and D n , I . . . . . . . . . . . . . . 58 10 Relationship between D n+1 and D n , II . . . . . . . . . . . . . . 60 11 Conditions for a quadratic form to be positive (negative) sub- ject to linear constraints . . . . . . . . . . . . . . . . . . . . . . 61 12 Necessary and su�cient conditions for r(A : B) = r(A) + r(B) 64 13 The bordered Gramian matrix . . . . . . . . . . . . . . . . . . 66 14 The equations X 1 A + X 2 B ′ = G 1 ,X 1 B = G 2 . . . . . . . . . . 68 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Part Two — Di�erentials: the theory 4 Mathematical preliminaries 75 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 2 Interior points and accumulation points . . . . . . . . . . . . . 75 3 Open and closed sets . . . . . . . . . . . . . . . . . . . . . . . . 76 4 The Bolzano-Weierstrass theorem . . . . . . . . . . . . . . . . . 79 5 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 6 The limit of a function . . . . . . . . . . . . . . . . . . . . . . . 81 7 Continuous functions and compactness . . . . . . . . . . . . . . 82 8 Convex sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 9 Convex and concave functions . . . . . . . . . . . . . . . . . . . 85 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 5 Di�erentials and di�erentiability 89 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 2 Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 3 Di�erentiability and linear approximation . . . . . . . . . . . . 91 4 The di�erential of a vector function . . . . . . . . . . . . . . . . 93 5 Uniqueness of the di�erential . . . . . . . . . . . . . . . . . . . 95 6 Continuity of di�erentiable functions . . . . . . . . . . . . . . . 96 7 Partial derivatives . . . . . . . . . . . . . . . . . . . . . . . . . 97 Contents vii 8 The �rst identi�cation theorem . . . . . . . . . . . . . . . . . . 98 9 Existence of the di�erential, I . . . . . . . . . . . . . . . . . . . 99 10 Existence of the di�erential, II . . . . . . . . . . . . . . . . . . 101 11 Continuous di�erentiability . . . . . . . . . . . . . . . . . . . . 103 12 The chain rule . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 13 Cauchy invariance . . . . . . . . . . . . . . . . . . . . . . . . . 105 14 The mean-value theorem for real-valued functions . . . . . . . . 106 15 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 107 16 Some remarks on notation . . . . . . . . . . . . . . . . . . . . . 109 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 110 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 6 The second di�erential 113 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 2 Second-order partial derivatives . . . . . . . . . . . . . . . . . . 113 3 The Hessian matrix . . . . . . . . . . . . . . . . . . . . . . . . . 114 4 Twice di�erentiability and second-order approximation, I . . . 115 5 De�nition of twice di�erentiability . . . . . . . . . . . . . . . . 116 6 The second di�erential . . . . . . . . . . . . . . . . . . . . . . . 118 7 (Column) symmetry of the Hessian matrix . . . . . . . . . . . . 120 8 The second identi�cation theorem . . . . . . . . . . . . . . . . 122 9 Twice di�erentiability and second-order approximation, II . . . 123 10 Chain rule for Hessian matrices . . . . . . . . . . . . . . . . . . 125 11 The analogue for second di�erentials . . . . . . . . . . . . . . . 126 12 Taylor’s theorem for real-valued functions . . . . . . . . . . . . 128 13 Higher-order di�erentials . . . . . . . . . . . . . . . . . . . . . . 129 14 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7 Static optimization 133 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 2 Unconstrained optimization . . . . . . . . . . . . . . . . . . . . 134 3 The existence of absolute extrema . . . . . . . . . . . . . . . . 135 4 Necessary conditions for a local minimum . . . . . . . . . . . . 137 5 Su�cient conditions for a local minimum: �rst-derivative test . 138 6 Su�cient conditions for a local minimum: second-derivative test 140 7 Characterization of di�erentiable convex functions . . . . . . . 142 8 Characterization of twice di�erentiable convex functions . . . . 145 9 Su�cient conditions for an absolute minimum . . . . . . . . . . 147 10 Monotonic transformations . . . . . . . . . . . . . . . . . . . . 147 11 Optimization subject to constraints . . . . . . . . . . . . . . . . 148 12 Necessary conditions for a local minimum under constraints . . 149 13 Su�cient conditions for a local minimum under constraints . . 154 14 Su�cient conditions for an absolute minimum under constraints158 15 A note on constraints in matrix form . . . . . . . . . . . . . . . 159 16 Economic interpretation of Lagrange multipliers . . . . . . . . . 160 Appendix: the implicit function theorem . . . . . . . . . . . . . . . . 162 viii Contents Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Part Three — Di�erentials: the practice 8 Some important di�erentials 167 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 2 Fundamental rules of di�erential calculus . . . . . . . . . . . . 167 3 The di�erential of a determinant . . . . . . . . . . . . . . . . . 169 4 The di�erential of an inverse . . . . . . . . . . . . . . . . . . . 171 5 Di�erential of the Moore-Penrose inverse . . . . . . . . . . . . . 172 6 The di�erential of the adjoint matrix . . . . . . . . . . . . . . . 175 7 On di�erentiating eigenvalues and eigenvectors . . . . . . . . . 177 8 The di�erential of eigenvalues and eigenvectors: symmetric case 179 9 The di�erential of eigenvalues and eigenvectors: complex case . 182 10 Two alternative expressions for dλ . . . . . . . . . . . . . . . . 185 11 Second di�erential of the eigenvalue function . . . . . . . . . . 188 12 Multiple eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . 189 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 189 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 9 First-order di�erentials and Jacobian matrices 193 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 2 Classi�cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 3 Bad notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 4 Good notation . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 5 Identi�cation of Jacobian matrices . . . . . . . . . . . . . . . . 198 6 The �rst identi�cation table . . . . . . . . . . . . . . . . . . . . 198 7 Partitioning of the derivative . . . . . . . . . . . . . . . . . . . 199 8 Scalar functions of a vector . . . . . . . . . . . . . . . . . . . . 200 9 Scalar functions of a matrix, I: trace . . . . . . . . . . . . . . . 200 10 Scalar functions of a matrix, II: determinant . . . . . . . . . . . 202 11 Scalar functions of a matrix, III: eigenvalue . . . . . . . . . . . 204 12 Two examples of vector functions . . . . . . . . . . . . . . . . . 204 13 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 205 14 Kronecker products . . . . . . . . . . . . . . . . . . . . . . . . . 208 15 Some other problems . . . . . . . . . . . . . . . . . . . . . . . . 210 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 10 Second-order di�erentials and Hessian matrices 213 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 2 The Hessian matrix of a matrix function . . . . . . . . . . . . . 213 3 Identi�cation of Hessian matrices . . . . . . . . . . . . . . . . . 214 4 The second identi�cation table . . . . . . . . . . . . . . . . . . 215 5 An explicit formula for the Hessian matrix . . . . . . . . . . . . 217 6 Scalar functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 7 Vector functions . . . . . . . . . . . . . . . . . . . . . . . . . . 219 8 Matrix functions, I . . . . . . . . . . . . . . . . . . . . . . . . . 220 Contents ix 9 Matrix functions, II . . . . . . . . . . . . . . . . . . . . . . . . 221 Part Four — Inequalities 11 Inequalities 225 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 2 The Cauchy-Schwarz inequality . . . . . . . . . . . . . . . . . . 225 3 Matrix analogues of the Cauchy-Schwarz inequality . . . . . . . 227 4 The theorem of the arithmetic and geometric means . . . . . . 228 5 The Rayleigh quotient . . . . . . . . . . . . . . . . . . . . . . . 230 6 Concavity of λ 1 , convexity of λ n . . . . . . . . . . . . . . . . . 231 7 Variational description of eigenvalues . . . . . . . . . . . . . . . 232 8 Fischer’s min-max theorem . . . . . . . . . . . . . . . . . . . . 233 9 Monotonicity of the eigenvalues . . . . . . . . . . . . . . . . . . 235 10 The Poincar´ e separation theorem . . . . . . . . . . . . . . . . . 236 11 Two corollaries of Poincar´ e’s theorem . . . . . . . . . . . . . . 237 12 Further consequences of the Poincar´ e theorem . . . . . . . . . . 238 13 Multiplicative version . . . . . . . . . . . . . . . . . . . . . . . 239 14 The maximum of a bilinear form . . . . . . . . . . . . . . . . . 241 15 Hadamard’s inequality . . . . . . . . . . . . . . . . . . . . . . . 242 16 An interlude: Karamata’s inequality . . . . . . . . . . . . . . . 243 17 Karamata’s inequality applied to eigenvalues . . . . . . . . . . 245 18 An inequality concerning positive semide�nite matrices . . . . . 245 19 A representation theorem for ( � a p i ) 1/p . . . . . . . . . . . . . 246 20 A representation theorem for (trA p ) 1/p . . . . . . . . . . . . . . 248 21 Hölder’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . 249 22 Concavity of log|A| . . . . . . . . . . . . . . . . . . . . . . . . . 250 23 Minkowski’s inequality . . . . . . . . . . . . . . . . . . . . . . . 252 24 Quasilinear representation of |A| 1/n . . . . . . . . . . . . . . . . 254 25 Minkowski’s determinant theorem . . . . . . . . . . . . . . . . . 256 26 Weighted means of order p . . . . . . . . . . . . . . . . . . . . . 256 27 Schlömilch’s inequality . . . . . . . . . . . . . . . . . . . . . . . 259 28 Curvature properties of M p (x,a) . . . . . . . . . . . . . . . . . 260 29 Least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 30 Generalized least squares . . . . . . . . . . . . . . . . . . . . . 263 31 Restricted least squares . . . . . . . . . . . . . . . . . . . . . . 263 32 Restricted least squares: matrix version . . . . . . . . . . . . . 265 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 266 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 Part Five — The linear model 12 Statistical preliminaries 275 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 2 The cumulative distribution function . . . . . . . . . . . . . . . 275 3 The joint density function . . . . . . . . . . . . . . . . . . . . . 276 4 Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 x Contents 5 Variance and covariance . . . . . . . . . . . . . . . . . . . . . . 277 6 Independence of two random variables . . . . . . . . . . . . . . 279 7 Independence of n random variables . . . . . . . . . . . . . . . 281 8 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 9 The one-dimensional normal distribution . . . . . . . . . . . . . 281 10 The multivariate normal distribution . . . . . . . . . . . . . . . 282 11 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 285 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 13 The linear regression model 287 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287 2 A�ne minimum-trace unbiased estimation . . . . . . . . . . . . 288 3 The Gauss-Markov theorem . . . . . . . . . . . . . . . . . . . . 289 4 The method of least squares . . . . . . . . . . . . . . . . . . . . 292 5 Aitken’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 293 6 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . 295 7 Estimable functions . . . . . . . . . . . . . . . . . . . . . . . . 297 8 Linear constraints: the case M(R ′ ) ⊂ M(X ′ ) . . . . . . . . . . 299 9 Linear constraints: the general case . . . . . . . . . . . . . . . . 302 10 Linear constraints: the case M(R ′ ) ∩ M(X ′ ) = {0} . . . . . . . 305 11 A singular variance matrix: the case M(X) ⊂ M(V ) . . . . . . 306 12 A singular variance matrix: the case r(X ′ V + X) = r(X) . . . . 308 13 A singular variance matrix: the general case, I . . . . . . . . . . 309 14 Explicit and implicit linear constraints . . . . . . . . . . . . . . 310 15 The general linear model, I . . . . . . . . . . . . . . . . . . . . 313 16 A singular variance matrix: the general case, II . . . . . . . . . 314 17 The general linear model, II . . . . . . . . . . . . . . . . . . . . 317 18 Generalized least squares . . . . . . . . . . . . . . . . . . . . . 318 19 Restricted least squares . . . . . . . . . . . . . . . . . . . . . . 319 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 321 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 14 Further topics in the linear model 323 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 2 Best quadratic unbiased estimation of σ 2 . . . . . . . . . . . . 323 3 The best quadratic and positive unbiased estimator of σ 2 . . . 324 4 The best quadratic unbiased estimator of σ 2 . . . . . . . . . . . 326 5 Best quadratic invariant estimation of σ 2 . . . . . . . . . . . . 329 6 The best quadratic and positive invariant estimator of σ 2 . . . 330 7 The best quadratic invariant estimator of σ 2 . . . . . . . . . . . 331 8 Best quadratic unbiased estimation: multivariate normal case . 332 9 Bounds for the bias of the least squares estimator of σ 2 , I . . . 335 10 Bounds for the bias of the least squares estimator of σ 2 , II . . . 336 11 The prediction of disturbances . . . . . . . . . . . . . . . . . . 338 12 Best linear unbiased predictors with scalar variance matrix . . 339 13 Best linear unbiased predictors with �xed variance matrix, I . . 341 Contents xi 14 Best linear unbiased predictors with �xed variance matrix, II . 344 15 Local sensitivity of the posterior mean . . . . . . . . . . . . . . 345 16 Local sensitivity of the posterior precision . . . . . . . . . . . . 347 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 Part Six — Applications to maximum likelihood estimation 15 Maximum likelihood estimation 351 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 2 The method of maximum likelihood (ML) . . . . . . . . . . . . 351 3 ML estimation of the multivariate normal distribution . . . . . 352 4 Symmetry: implicit versus explicit treatment . . . . . . . . . . 354 5 The treatment of positive de�niteness . . . . . . . . . . . . . . 355 6 The information matrix . . . . . . . . . . . . . . . . . . . . . . 356 7 ML estimation of the multivariate normal distribution: distinct means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 8 The multivariate linear regression model . . . . . . . . . . . . . 358 9 The errors-in-variables model . . . . . . . . . . . . . . . . . . . 361 10 The non-linear regression model with normal errors . . . . . . . 364 11 Special case: functional independence of mean- and variance parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 12 Generalization of Theorem 6 . . . . . . . . . . . . . . . . . . . 366 Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 368 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 16 Simultaneous equations 371 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 2 The simultaneous equations model . . . . . . . . . . . . . . . . 371 3 The identi�cation problem . . . . . . . . . . . . . . . . . . . . . 373 4 Identi�cation with linear constraints on B and Γ only . . . . . 375 5 Identi�cation with linear constraints on B,Γ and Σ . . . . . . . 375 6 Non-linear constraints . . . . . . . . . . . . . . . . . . . . . . . 377 7 Full-information maximum likelihood (FIML): the information matrix (general case) . . . . . . . . . . . . . . . . . . . . . . . . 378 8 Full-information maximum likelihood (FIML): the asymptotic variance matrix (special case) . . . . . . . . . . . . . . . . . . . 380 9 Limited-information maximum likelihood (LIML): the �rst-order conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10 Limited-information maximum likelihood (LIML): the informa- tion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 11 Limited-information maximum likelihood (LIML): the asymp- totic variance matrix . . . . . . . . . . . . . . . . . . . . . . . . 388 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 xii Contents 17 Topics in psychometrics 395 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 2 Population principal components . . . . . . . . . . . . . . . . . 396 3 Optimality of principal components . . . . . . . . . . . . . . . . 397 4 A related result . . . . . . . . . . . . . . . . . . . . . . . . . . . 398 5 Sample principal components . . . . . . . . . . . . . . . . . . . 399 6 Optimality of sample principal components . . . . . . . . . . . 401 7 Sample analogue of Theorem 3 . . . . . . . . . . . . . . . . . . 401 8 One-mode component analysis . . . . . . . . . . . . . . . . . . 401 9 One-mode component analysis and sample principal compo- nents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 10 Two-mode component analysis . . . . . . . . . . . . . . . . . . 405 11 Multimode component analysis . . . . . . . . . . . . . . . . . . 406 12 Factor analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 13 A zigzag routine . . . . . . . . . . . . . . . . . . . . . . . . . . 413 14 A Newton-Raphson routine . . . . . . . . . . . . . . . . . . . . 415 15 Kaiser’s varimax method . . . . . . . . . . . . . . . . . . . . . . 418 16 Canonical correlations and variates in the population . . . . . . 421 Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 Index of symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439 Subject index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

1 绪论 9 1.1 例⼦：多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.2.2 期望和协⽅差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.2.4 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.2.5 重新考察曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.4 维度灾难 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.5.1 最⼩化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 1.5.2 最⼩化期望损失 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 1.6 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2 概率分布 52 2.1 ⼆元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.1.1 Beta 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.2.1 狄利克雷分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.3 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3.1 条件⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.3.2 边缘⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 2.3.3 ⾼斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 2.3.4 ⾼斯分布的最⼤似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.3.6 ⾼斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.3.7 学⽣ t 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 2.3.9 混合⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.4.1 最⼤似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.4.3 ⽆信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.5 ⾮参数化⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 2.5.2 近邻⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 3 回归的线性模型 101 3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.1.1 最⼤似然与最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.1.2 最⼩平⽅的⼏何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 2 3.1.4 正则化最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.2 偏置-⽅差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 3.4 贝叶斯模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.2 最⼤化证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 3.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 4 分类的线性模型 130 4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.1 ⼆分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.2 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 4.1.3 ⽤于分类的最⼩平⽅⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 4.1.4 Fisher 线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 4.1.5 与最⼩平⽅的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 4.1.6 多分类的 Fisher 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 4.2 概率⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 4.2.1 连续输⼊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.2.2 最⼤似然解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.2.3 离散特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 4.2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 4.3 概率判别式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 4.3.1 固定基函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 4.3.2 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 4.3.3 迭代重加权最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 4.3.4 多类 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 4.3.5 probit 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 4.3.6 标准链接函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 4.4 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 4.4.1 模型⽐较和 BIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 4.5 贝叶斯 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.5.1 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.5.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 5 神经⽹络 161 5.1 前馈神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 5.1.1 权空间对称性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5.2 ⽹络训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5.2.1 参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 5.2.2 局部⼆次近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 5.2.3 使⽤梯度信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 5.2.4 梯度下降最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 5.3 误差反向传播 . . . . . . . . . . .

Probabilistic Robotics Sebastian Thrun Wolfram Burgard Dieter Fox I Basics 1 1 Introduction 3 2 Recursive State Estimation 13 3 Gaussian Filters 39 4 Nonparametric Filters 85 5 Robot Motion 117 6 Robot Perception 149 II Localization 189 7 Mobile Robot Localization: Markov and Gaussian 191 8 Mobile Robot Localization: Grid And Monte Carlo 237 III Mapping 279 9 Occupancy Grid Mapping 281 10 Simultaneous Localization and Mapping 309 11 The GraphSLAM Algorithm 337 12 The Sparse Extended Information Filter 385 13 The FastSLAM Algorithm 437 IV Planning and Control 485 14 Markov Decision Processes 487 15 Partially Observable Markov Decision Processes 513 vi Brief Contents 16 Approximate POMDP Techniques 547 17 Exploration 569

TI毫米波雷达原理讲解PPT,从各个方面,• Basics of FMCW radar operation • Using the radar to measure range of multiple objects in front of the radar • Concept of IF signal and IF bandwidth • Range Resolution