neural crf parsing
play

Neural CRF Parsing Greg Durre2 and Dan Klein UC Berkeley - PowerPoint PPT Presentation

Oct 03, 2023 •428 likes •1.64k views

Neural CRF Parsing Greg Durre2 and Dan Klein UC Berkeley Parsing with CKY Parsing with CKY He gave a long speech on foreign

  1. Basic ¡CRF ¡Model NP NP w > f = Y P ( T | x ) ∝ exp (score( r )) score NP PP NP PP 2 5 8 2 5 8 r ∈ T NP FirstWord ¡= ¡a ∧ NP PP NP NP PP He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9 [Hall, ¡Durre5, ¡Klein ¡(2014)]

  2. Basic ¡CRF ¡Model NP NP w > f = Y P ( T | x ) ∝ exp (score( r )) score NP PP NP PP 2 5 8 2 5 8 r ∈ T NP FirstWord ¡= ¡a ∧ NP PP NP NP PP He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9 [Hall, ¡Durre5, ¡Klein ¡(2014)]

  3. Basic ¡CRF ¡Model NP NP w > f = Y P ( T | x ) ∝ exp (score( r )) score NP PP NP PP 2 5 8 2 5 8 r ∈ T NP FirstWord ¡= ¡a ∧ NP PP NP NP PrevWord ¡= ¡gave ∧ NP PP NP PP He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9 [Hall, ¡Durre5, ¡Klein ¡(2014)]

  4. Basic ¡CRF ¡Model NP NP w > f = Y P ( T | x ) ∝ exp (score( r )) score NP PP NP PP 2 5 8 2 5 8 r ∈ T NP FirstWord ¡= ¡a ∧ NP PP NP NP PrevWord ¡= ¡gave ∧ NP PP NP PP He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9 [Hall, ¡Durre5, ¡Klein ¡(2014)]

  5. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 NP ∧ FirstWord ¡= ¡a NP PP NP ∧ PrevWord ¡= ¡gave NP PP

  6. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 Surface ¡feature NP ∧ FirstWord ¡= ¡a NP PP NP ∧ PrevWord ¡= ¡gave NP PP

  7. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 Surface ¡feature Label ¡feature NP ∧ FirstWord ¡= ¡a NP PP NP ∧ PrevWord ¡= ¡gave NP PP

  8. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 Surface ¡feature Label ¡feature NP ∧ FirstWord ¡= ¡a NP PP NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave,…

  9. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 ` NP Surface ¡feature Label ¡feature NP PP NP ∧ FirstWord ¡= ¡a NP PP NP … NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave, …

  10. Basic ¡CRF ¡Model NP NP = w > f score NP PP NP PP 2 5 8 2 5 8 ` NP Surface ¡feature Label ¡feature NP PP F i,j = s i ` j NP ∧ FirstWord ¡= ¡a NP PP NP … NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave, …

  11. Basic ¡CRF ¡Model NP NP = w > f = W � score NP PP NP PP 2 5 8 2 5 8 ` NP Surface ¡feature Label ¡feature NP PP F i,j = s i ` j NP ∧ FirstWord ¡= ¡a NP PP NP … NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave, …

  12. Basic ¡CRF ¡Model NP NP X = w > f = W � score NP PP s NP PP X X 2 5 8 2 5 8 2 5 8 ` NP Surface ¡feature Label ¡feature NP PP F i,j = s i ` j NP ∧ FirstWord ¡= ¡a NP PP NP … NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave, …

  13. Basic ¡CRF ¡Model NP NP X NP = w > f = W � ` > score NP PP s NP PP X X NP PP 2 5 8 2 5 8 2 5 8 ` NP Surface ¡feature Label ¡feature NP PP F i,j = s i ` j NP ∧ FirstWord ¡= ¡a NP PP NP … NP ∧ PrevWord ¡= ¡gave NP PP s First ¡= ¡a, Prev ¡= ¡gave, …

  14. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8

  15. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8

  16. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  17. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  18. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  19. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  20. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s one-­‑layer ¡NN 100-­‑dim ¡vectors ¡ v (Bansal ¡et ¡al., ¡2014) He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  21. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 200-­‑dim ¡vector s one-­‑layer ¡NN 100-­‑dim ¡vectors ¡ v (Bansal ¡et ¡al., ¡2014) He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  22. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  23. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  24. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  25. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 Neural s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  26. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 Neural Sparse s s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  27. Neural ¡CRF ¡Model NP X NP = W � s ` > score NP PP X X NP PP 2 5 8 2 5 8 Neural+Sparse Neural Sparse s s s one-­‑layer ¡NN v He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡. 0 1 2 3 4 5 6 7 8 9

  28. Inference

  29. Inference Just ¡CKY!

  30. Inference Just ¡CKY! … ¡with ¡coarse ¡pruning ¡and ¡caching ¡of ¡neural ¡net ¡opera^ons (Goodman, ¡1997) (Chen ¡and ¡Manning, ¡2014)

  31. Inference Just ¡CKY! … ¡with ¡coarse ¡pruning ¡and ¡caching ¡of ¡neural ¡net ¡opera^ons (Goodman, ¡1997) (Chen ¡and ¡Manning, ¡2014) Roughly ¡2x ¡slower ¡than ¡with ¡sparse ¡features ¡alone

  32. Learning

  33. Learning Just ¡Maximum ¡Likelihood!

  34. Learning Just ¡Maximum ¡Likelihood! … ¡with ¡backpropaga^on ¡through ¡each ¡local ¡neural ¡network

  35. Learning Just ¡Maximum ¡Likelihood! … ¡with ¡backpropaga^on ¡through ¡each ¡local ¡neural ¡network Op^miza^on: ¡Adadelta ¡(Zeiler, ¡2012) ¡worked ¡slightly ¡be5er ¡than ¡ Adagrad ¡(Duchi ¡et ¡al., ¡2011)

  36. Results

  37. Results: ¡English ¡Treebank ¡(Dev) 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90 90.1 89 Sparse 88 87

  38. Results: ¡English ¡Treebank ¡(Dev) 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 90.1 89 Neural Sparse 88 87

  39. Results: ¡English ¡Treebank ¡(Dev) 92 Dev ¡set ¡F 1 ¡all ¡lengths 91.3 91 90.4 90 90.1 Sparse+ ¡ 89 Neural Neural Sparse 88 87

  40. Results: ¡English ¡Treebank ¡(Dev) 92 Dev ¡set ¡F 1 ¡all ¡lengths 91.3 91 90.4 90 90.2 90.1 Sparse+ ¡ 89 Neural Sparse+ ¡ Neural Sparse Brown 88 87

  41. Results: ¡English ¡Treebank ¡(Dev) 92 Dev ¡set ¡F 1 ¡all ¡lengths 91.3 91 90.4 90 90.2 90.1 Sparse+ ¡ 89 Neural Sparse+ ¡ Neural Sparse Brown 88 87

  42. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89 Bansal ¡et ¡al. 88 87

  43. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89 Bansal ¡et ¡al. 88 87

  44. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89.6 89 Bansal ¡et ¡al. Collobert ¡and ¡ Weston 88 87

  45. Word ¡Vectors 92 Dependency ¡ context Dev ¡set ¡F 1 ¡all ¡lengths 91 11-­‑word ¡ surface ¡context 90.4 90 89.6 89 Bansal ¡et ¡al. Collobert ¡and ¡ Weston 88 87

  46. Word ¡Vectors 92 Dependency ¡ context Dev ¡set ¡F 1 ¡all ¡lengths 91 11-­‑word ¡ surface ¡context 90.4 90 89.6 89 Bansal ¡et ¡al. Collobert ¡and ¡ Weston 88 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  47. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89.6 89 Bansal ¡et ¡al. Collobert ¡and ¡ Weston 88 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  48. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89.6 89 89.0 Bansal ¡et ¡al. Collobert ¡and ¡ word2vec ¡ Weston 88 on ¡PTB 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  49. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 89.6 89 89.0 Bansal ¡et ¡al. Collobert ¡and ¡ word2vec ¡ Weston 88 on ¡PTB 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  50. Word ¡Vectors 92 30M ¡tokens Dev ¡set ¡F 1 ¡all ¡lengths 91 90.4 90 1M ¡tokens 89.6 89 89.0 Bansal ¡et ¡al. Collobert ¡and ¡ word2vec ¡ Weston 88 on ¡PTB 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  51. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91.3 91 90.9 90.4 90 89.6 Sparse+ 89 89.0 Bansal ¡et ¡al. Sparse+ Collobert ¡and ¡ word2vec ¡ Weston 88 on ¡PTB 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)

  52. Word ¡Vectors 92 Dev ¡set ¡F 1 ¡all ¡lengths 91.3 91 90.9 90.4 90 89.6 Sparse+ 89 89.0 Bansal ¡et ¡al. Sparse+ Collobert ¡and ¡ word2vec ¡ Weston 88 on ¡PTB 87 ‣ Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014) ‣ Don’t ¡need ¡huge ¡unlabeled ¡corpora ¡for ¡these ¡methods ¡to ¡be ¡effec^ve

  53. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91 91.1 90 Neural+ ¡ Sparse 89 88 87

  54. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91 91.1 90 Neural+ ¡ Sparse 89.2 89 Sparse 88 87

  55. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91 91.1 90 90.1 Neural+ ¡ Sparse 89.2 89 Berkeley Sparse Petrov+ ¡06 88 87

  56. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91 91.1 91.1 90 90.1 Neural+ ¡ CCK Sparse 89.2 89 Carreras+ ¡08 Berkeley Sparse Petrov+ ¡06 88 87

  57. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91.3 91 91.1 91.1 90 90.1 Neural+ ¡ CCK ZPar Sparse 89.2 89 Carreras+ ¡08 Zhu+ ¡13 Berkeley Sparse Petrov+ ¡06 88 87

  58. Results: ¡English ¡Treebank ¡(Test) 92 Test ¡set ¡F 1 ¡all ¡lengths 91.3 91 91.1 91.1 90 90.1 Neural+ ¡ CCK ZPar Sparse 89.2 89 Carreras+ ¡08 Zhu+ ¡13 Berkeley Sparse Petrov+ ¡06 88 87

  59. Results: ¡English ¡Treebank ¡(Test) 92 (reranking ¡ Test ¡set ¡F 1 ¡all ¡lengths ensemble) 91.3 91 91.1 91.1 90.4 90 90.1 Neural+ ¡ CCK ZPar Sparse 89.2 89 CVG Carreras+ ¡08 Zhu+ ¡13 Berkeley Socher+ ¡13 Sparse Petrov+ ¡06 88 87

  60. Related ¡Work

  61. Related ¡Work ‣ Transi^on-­‑based ¡neural ¡parsers: ¡Henderson ¡(2003), ¡Chen ¡and ¡ Manning ¡(2014)

  62. Related ¡Work ‣ Transi^on-­‑based ¡neural ¡parsers: ¡Henderson ¡(2003), ¡Chen ¡and ¡ Manning ¡(2014) ‣ Local ¡decisions ¡only: ¡Belinkov ¡et ¡al. ¡(2014)

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend

CS11-747 Neural Networks for NLP Neural Semantic Parsing Pengcheng Yin pcyin@cs.cmu.edu

CS11-747 Neural Networks for NLP Neural Semantic Parsing Pengcheng Yin pcyin@cs.cmu.edu

CS11-747 Neural Networks for NLP Neural Semantic Parsing Pengcheng Yin pcyin@cs.cmu.edu Language Technologies Institute Carnegie Mellon University [Some contents are adapted from talks by Graham Neubig] The Semantic Parsing Task Motivation

754 views • 41 slides
Robust Incremental Neural Semantic Graph Parsing Jan Buys and Phil Blunsom Dependency Parsing vs

Robust Incremental Neural Semantic Graph Parsing Jan Buys and Phil Blunsom Dependency Parsing vs

Robust Incremental Neural Semantic Graph Parsing Jan Buys and Phil Blunsom Dependency Parsing vs Semantic Parsing Dependency parsing models the syntactic structure between words in a sentence. Dependency Parsing vs Semantic Parsing

637 views • 31 slides
Natural Language Understanding Lecture 9: Dependency Parsing with Neural Networks Frank Keller

Natural Language Understanding Lecture 9: Dependency Parsing with Neural Networks Frank Keller

Introduction Transition-based Parsing with Neural Nets Results and Analysis Natural Language Understanding Lecture 9: Dependency Parsing with Neural Networks Frank Keller School of Informatics University of Edinburgh keller@inf.ed.ac.uk

356 views • 23 slides
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and

Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and

Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning Motivation NS-RL Neural Symbolic Input Prediction Error Network Reasoning Ground Truth Forward pass

1.13k views • 27 slides
Transition-based Parsing with Neural Nets Graham Neubig Site

Transition-based Parsing with Neural Nets Graham Neubig Site

CS11-747 Neural Networks for NLP Transition-based Parsing with Neural Nets Graham Neubig Site https://phontron.com/class/nn4nlp2017/ Two Types of Linguistic Structure Dependency: focus on relations between words ROOT I saw a girl

641 views • 38 slides
Neural Symbolic Machines Semantic Parsing on Freebase with Weak Supervision Chen Liang, Jonathan

Neural Symbolic Machines Semantic Parsing on Freebase with Weak Supervision Chen Liang, Jonathan

Neural Symbolic Machines Semantic Parsing on Freebase with Weak Supervision Chen Liang, Jonathan Berant, Quoc Le, Kenneth Forbus, Ni Lao Overview Motivation: Semantic Parsing and Program Induction Neural Symbolic Machines Key-Variable

3.13k views • 77 slides
Data Recombination for Neural Semantic Parsing Presented by: Edward Xue Robin Jia, Percy Liang

Data Recombination for Neural Semantic Parsing Presented by: Edward Xue Robin Jia, Percy Liang

Data Recombination for Neural Semantic Parsing Presented by: Edward Xue Robin Jia, Percy Liang Intro Semantic Parsing: The translation of natural language into logical forms RNNs have had much success recently Few domain specific

580 views • 18 slides
Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2018/ Tree

Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2018/ Tree

CS11-747 Neural Networks for NLP Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2018/ Tree Structures of Syntax Dependency: focus on relations between words ROOT I saw a girl with a telescope Phrase

1.01k views • 35 slides
Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2017/ Tree

Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2017/ Tree

CS11-747 Neural Networks for NLP Neural Semantic Parsing Graham Neubig Site https://phontron.com/class/nn4nlp2017/ Tree Structures of Syntax Dependency: focus on relations between words ROOT I saw a girl with a telescope Phrase

660 views • 28 slides
Neural Semantic Parsing with Anonymization for Command Understanding in General- Purpose Service

Neural Semantic Parsing with Anonymization for Command Understanding in General- Purpose Service

Neural Semantic Parsing with Anonymization for Command Understanding in General- Purpose Service Robots Nick Walker , Yu-Tang Peng, Maya Cakmak Bring me an apple Traditional semantic parsing bring an apple VB DT NN DT NN\ NP

495 views • 26 slides
Coarse-to-Fine Decoding for Neural Semantic Parsing July 16, 2018 Li Dong and Mirella Lapata

Coarse-to-Fine Decoding for Neural Semantic Parsing July 16, 2018 Li Dong and Mirella Lapata

Coarse-to-Fine Decoding for Neural Semantic Parsing July 16, 2018 Li Dong and Mirella Lapata Semantic Parsing Mapping natural language to structured representations Human-friendly -> Computer-friendly all flights from dallas before 10am

600 views • 28 slides
A Fast and Accurate Dependency Parser using Neural Networks Danqi Chen & Christopher D.

A Fast and Accurate Dependency Parser using Neural Networks Danqi Chen & Christopher D.

A Fast and Accurate Dependency Parser using Neural Networks Danqi Chen & Christopher D. Manning Qiming Chen qc2195 Apr. 8. 2015 Dependency Parsing Parsing: He has good control . Dependency Parsing Parsing: He has good control .

743 views • 35 slides
Neural AMR: Sequence-to- Sequence Models for Parsing and Generation Author: Ioannis Konstas,

Neural AMR: Sequence-to- Sequence Models for Parsing and Generation Author: Ioannis Konstas,

Neural AMR: Sequence-to- Sequence Models for Parsing and Generation Author: Ioannis Konstas, Srinivasan Iyer, Mark Yatskar, Yejin Choi, Luke Zettlemoyer Presenter: Yuan Cheng Contents Background Outline of the Paper

274 views • 15 slides
CSC 4181 Compiler Construction Parsing 1 1 Outline Top-down v.s. Bottom-up Top-down parsing

CSC 4181 Compiler Construction Parsing 1 1 Outline Top-down v.s. Bottom-up Top-down parsing

CSC 4181 Compiler Construction Parsing 1 1 Outline Top-down v.s. Bottom-up Top-down parsing Bottom-up parsing Recursive-descent Shift-reduce parsers parsing LR(0) parsing LL(1) parsing LR(0) items LL(1) parsing

429 views • 29 slides
Neural CRF Parsing AUTHORS: GREG DURRETT AND DAN KLEIN PRESENTER: YUNDI FEI 1 Overview Based

Neural CRF Parsing AUTHORS: GREG DURRETT AND DAN KLEIN PRESENTER: YUNDI FEI 1 Overview Based

Neural CRF Parsing AUTHORS: GREG DURRETT AND DAN KLEIN PRESENTER: YUNDI FEI 1 Overview Based on the baseline CRF model by Hall et al. (2014) What is CRF(Conditional Random Field)? A class of statistical modeling method in the sequence

657 views • 28 slides
Introduction to Bottom-Up Parsing Shift-reduce parsing The LR parsing algorithm

Introduction to Bottom-Up Parsing Shift-reduce parsing The LR parsing algorithm

Outline Review LL parsing Introduction to Bottom-Up Parsing Shift-reduce parsing The LR parsing algorithm Constructing LR parsing tables 2 Top-Down Parsing: Review Top-Down Parsing: Review Top-down parsing expands a

470 views • 13 slides
Outgrowing Content Types: Building Custom Entities BADCamp

Outgrowing Content Types: Building Custom Entities BADCamp

Outgrowing Content Types: Building Custom Entities BADCamp October 4, 2019 Jim.Vomero@FourKitchens.com @nJim Four Kitchens builds websites and apps for organizations that depend on

310 views • 27 slides
2/10/2016 Assessment of Patients with Chronic Pain and Co-Occurring Substance Use Jon

2/10/2016 Assessment of Patients with Chronic Pain and Co-Occurring Substance Use Jon

2/10/2016 Assessment of Patients with Chronic Pain and Co-Occurring Substance Use Jon Streltzer, M.D. Professor of Psychiatry University of Hawaii School of Medicine (No conflicts to disclose) Unintentional Overdose Deaths Involving Opioid

339 views • 17 slides
Circadian Rhythms and Bipolar Disorder Colleen A. McClung, Ph.D. Professor Department of

Circadian Rhythms and Bipolar Disorder Colleen A. McClung, Ph.D. Professor Department of

Circadian Rhythms and Bipolar Disorder Colleen A. McClung, Ph.D. Professor Department of Psychiatry Clinical and Translational Science Translational Neuroscience Program Center for Neuroscience University of Pittsburgh School of Medicine

639 views • 47 slides
Generative Adversarial Networks Benjamin Striner 1 1 Carnegie Mellon University April 8, 2019

Generative Adversarial Networks Benjamin Striner 1 1 Carnegie Mellon University April 8, 2019

Motivation Generative vs. Discriminative GAN Theory GAN Evaluation GANs and VAEs GAN Architectures Generative Adversarial Networks Benjamin Striner 1 1 Carnegie Mellon University April 8, 2019 Benjamin Striner CMU GANs Motivation

920 views • 73 slides
Su Support'Vector'Machines Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan

Su Support'Vector'Machines Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan

Su Support'Vector'Machines Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan kasthuri.kannan@nyumc.org Overview Support Vector Machines for Classification Linear Discrimination Nonlinear Discrimination SVM

522 views • 49 slides
A NEW ALGORITHM FOR THE VARIANTS OF ACD PROBLEM Jung Hee Cheon, Wonhee Cho, Minki Hhan, Minsik

A NEW ALGORITHM FOR THE VARIANTS OF ACD PROBLEM Jung Hee Cheon, Wonhee Cho, Minki Hhan, Minsik

A NEW ALGORITHM FOR THE VARIANTS OF ACD PROBLEM Jung Hee Cheon, Wonhee Cho, Minki Hhan, Minsik Kang, Jiseung Kim, Changmin Lee ENS de Lyon June 27, 2019 Changmin Lee Analysis of CRT-ACD June 27, 2019 1 / 23 Approximate Common-Divisor

459 views • 29 slides
Wireless Networks L ecture 18: Wireless LANs 802.11* Peter Steenkiste CS and ECE, Carnegie

Wireless Networks L ecture 18: Wireless LANs 802.11* Peter Steenkiste CS and ECE, Carnegie

Wireless Networks L ecture 18: Wireless LANs 802.11* Peter Steenkiste CS and ECE, Carnegie Mellon University Peking University, Summer 2016 1 Peter A. Steenkiste, CMU Outline Brief history 802 protocol overview Wireless LANs

439 views • 10 slides
Drupal 7 Entity API Matthew Radcliffe mradcliffe@kosada.com Wednesday, December 7, 2011 Some

Drupal 7 Entity API Matthew Radcliffe mradcliffe@kosada.com Wednesday, December 7, 2011 Some

Drupal 7 Entity API Matthew Radcliffe mradcliffe@kosada.com Wednesday, December 7, 2011 Some basic concepts Architecture, engineering, and building Drupal Core and Contrib modules Nodes Wednesday, December 7, 2011 Some basic

519 views • 25 slides

More recommend