Introduction to Artificial Intelligence Marc Toussaint March 29, - PDF document

Introduction to Artificial Intelligence Marc Toussaint March 29, 2016 The majority of slides of the earlier parts are adapted from Stuart Russell . This is a direct concatenation and reformatting of all lecture slides and exercises from the Artificial Intelligence course (winter term 2014/15, U Stuttgart), including indexing to help prepare for exams. sequential propositional relational decisions sequential sequential assignment propositional CSP decision FOL logic problems constraint deterministic backtracking propagation search alpha/beta on fwd/bwd BFS pruning trees chaining games minimax MCTS bandits UCB FOL utilities graphical relational models belief graphical MDPs probabilistic models propagation msg. passing Decision Theory dynamic programming multi-agent V(s), Q(s,a) MDPs HMMs relational fwd/bwd MDPs msg. passing ML Reinforcement Learning learning Active Learning Contents 1 Introduction 6 2 Search 9 2.1 Problem Formulation & Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Example: Romania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Problem Definition: Deterministic, fully observable . . . . . . . . . . . . . . . . . . 9 2.2 Basic Tree Search Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Tree search implementation: states vs nodes . . . . . . . . . . . . . . . . . . . . . 10 Tree Search: General Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Breadth-first search (BFS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Complexity of BFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Uniform-cost search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Depth-first search (DFS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Complexity of DFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Iterative deepening search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Complexity of Iterative Deepening Search . . . . . . . . . . . . . . . . . . . . . . . 12 1

2 Introduction to Artificial Intelligence, Marc Toussaint —March 29, 2016 Graph search and repeated states . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Greedy and A ∗ Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 13 Best-first Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Greedy Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Complexity of Greedy Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 A ∗ search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 A ∗ : Proof 1 of Optimality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Complexity of A ∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 A ∗ : Proof 2 of Optimality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Admissible heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Memory-bounded A ∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3 Probabilities 17 3.1 Intro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Probabilities as (subjective) information calculus . . . . . . . . . . . . . . . . . . . 17 Inference: general meaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Frequentist vs Bayesian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2 Basic definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Definitions based on sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Probability distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Joint distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Marginal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Conditional distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Bayes’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Multiple RVs, conditional independence . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Probability distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Bernoulli and Binomial distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Beta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Multinomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Dirichlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.4 Distributions over continuous domain . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Dirac distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Gaussian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Particle approximation of a distribution . . . . . . . . . . . . . . . . . . . . . . . . . 21 Utilities and Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Kullback-Leibler divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.5 Monte Carlo methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Monte Carlo methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Rejection sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Importance sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Student’s t, Exponential, Laplace, Chi-squared, Gamma distributions . . . . . . . . 23 4 Bandits, MCTS, & Games 24 4.1 Bandits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Multi-armed Bandits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.2 Upper Confidence Bounds (UCB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Exploration, Exploitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Upper Confidence Bound (UCB1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.3 Monte Carlo Tree Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Monte Carlo Tree Search (MCTS) . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Upper Confidence Tree (UCT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.4 Game Playing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Minimax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Alpha-Beta Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Evaluation functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 UCT for games . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28