The Hermeneu*cs of Distant Listening to Spoken Word Texts - - PowerPoint PPT Presentation

¡ The ¡Hermeneu*cs ¡of ¡Distant ¡ Listening ¡to ¡Spoken ¡Word ¡Texts ¡with ¡ High ¡Performance ¡Sound ¡ Technologies ¡for ¡Access ¡and ¡ Scholarship ¡ ¡ ¡

Tanya ¡Clement, ¡Assistant ¡Professor ¡ School ¡of ¡Informa*on ¡ University ¡of ¡Texas ¡at ¡Aus*n ¡

• Bernstein, ¡Charles. ¡Close ¡Listening: ¡Poetry ¡and ¡the ¡

Performed ¡Word. ¡Oxford ¡University ¡Press, ¡1998: ¡3-­‑26. ¡

• Print. ¡
• Clement, ¡T., ¡Tcheng, ¡D., ¡Auvil, ¡L., ¡Capitanu, ¡B., ¡and ¡

Barbosa, ¡J. ¡"Distant ¡Listening ¡to ¡Gertrude ¡Stein's ¡ 'Melanctha': ¡Using ¡Similarity ¡Analysis ¡in ¡a ¡Discovery ¡ Paradigm ¡to ¡Analyze ¡Prosody ¡and ¡Author ¡Influence." ¡ Literary ¡and ¡Linguis5c ¡Compu5ng ¡28.4 ¡(2013): ¡ 582-­‑602. ¡

• Clement, ¡T. ¡"Distant ¡Listening ¡or ¡Playing ¡Visualiza*ons ¡

Pleasantly ¡with ¡the ¡Eyes ¡and ¡Ears." ¡Digital ¡Studies ¡/ ¡Le ¡ champ ¡numérique. ¡3.2 ¡(2012). ¡ ¡

h_p://blogs.ischool.utexas.edu/hipstas/ ¡

HiPSTAS ¡team ¡

• 1. Tanya ¡Clement, ¡[PI] ¡
• 2. Lore4a ¡Auvil ¡[Co-­‑PI] ¡is ¡a ¡Senior ¡Project ¡

Coordinator ¡at ¡the ¡Illinois ¡Informa*cs ¡ Ins*tute ¡(I3) ¡at ¡the ¡University ¡of ¡Illinois ¡at ¡ Urbana-­‑Champaign ¡

• 3. David ¡Tcheng ¡[Co-­‑PI] ¡is ¡a ¡Research ¡

Programmer ¡at ¡I3; ¡ARLO ¡developer ¡

• 4. Tony ¡Borries ¡is ¡a ¡Research ¡Programmer ¡

working ¡as ¡a ¡consultant ¡with ¡I3; ¡programmer ¡

HiPSTAS ¡collec*ons ¡

• poetry ¡from ¡PennSound ¡at ¡the ¡University ¡of ¡

Pennsylvania ¡30,000 ¡audio ¡files ¡

• folklore ¡at ¡the ¡Dolph ¡the ¡Briscoe ¡Center ¡for ¡

American ¡History ¡at ¡UT ¡Aus*n, ¡57 ¡feet ¡of ¡ tapes ¡(reels ¡and ¡audiocasse_es) ¡

• speeches ¡at ¡the ¡Lyndon ¡B. ¡Johnson ¡Library ¡and ¡

Presiden*al ¡Museum ¡(LBJ ¡Library) ¡in ¡Aus*n ¡

• storytelling ¡tradi*ons ¡at ¡the ¡Na*ve ¡American ¡

Projects ¡(NAP) ¡at ¡the ¡American ¡Philosophical ¡ Society ¡in ¡Philadelphia ¡, ¡50 ¡tribes, ¡3,000 ¡hours ¡

Other ¡collec*ons ¡of ¡interest ¡to ¡ HiPSTAS ¡Par*cipants ¡

• Field ¡recordings ¡(200,000 ¡recordings) ¡American ¡Folklife ¡

Center, ¡Library ¡of ¡Congress ¡

• 30, ¡000 ¡hours, ¡Oral ¡histories, ¡Storycorps ¡
• Speeches ¡in ¡the ¡Southern ¡Chris*an ¡Leadership ¡Conference ¡

recordings, ¡Emory ¡University ¡ ¡

• 700 ¡recordings ¡in ¡the ¡Elliston ¡Poetry ¡Collec*on ¡at ¡the ¡

University ¡of ¡Cincinna* ¡ ¡ ¡

• 36 ¡interviews ¡in ¡the ¡Dust, ¡Drought ¡and ¡Dreams ¡Gone ¡Dry: ¡

Oklahoma ¡Women ¡and ¡the ¡Dust ¡Bowl ¡(WDB) ¡oral ¡history ¡ project ¡out ¡of ¡the ¡Oklahoma ¡State ¡Libraries ¡ ¡

HiPSTAS ¡is ¡NOT ¡about ¡ ¡ searching ¡or ¡analyzing ¡sound ¡ by ¡searching ¡or ¡indexing ¡text ¡

HZ, ¡a ¡unit ¡

• f ¡ ¡

frequency ¡ ¡ Time ¡

a ¡heat ¡based ¡color ¡scheme. ¡ White ¡– ¡ho_est, ¡most ¡intense ¡ ¡ Yellow ¡ Red ¡ Green ¡ Blue ¡ Black ¡– ¡coolest, ¡least ¡intense ¡ Energy ¡represented ¡by ¡ ¡

HiPSTAS ¡Par*cipants ¡Using ¡ARLO ¡

• segmen*ng: ¡semi-­‑automa*cally ¡
• searching ¡for ¡discrete ¡sounds ¡(poets, ¡series, ¡ci*es, ¡affinity ¡

groups ¡like ¡Black ¡Mountain) ¡

• Searching ¡for ¡rela*onships ¡across ¡voice ¡quali*es: ¡husky ¡

voices, ¡whispery ¡voices, ¡etc. ¡

• voice ¡prin*ng ¡-­‑-­‑ ¡iden*fy ¡a ¡voice ¡
• elimina*ng ¡duplica*on ¡ ¡
• Ra*ng ¡quality, ¡low ¡amplitude ¡files ¡and ¡fix ¡them ¡ ¡
• iden*fying ¡variants ¡
• compara*ng ¡room ¡tone, ¡live ¡vs. ¡studio ¡sounds, ¡mic ¡used ¡
• genre ¡detec*on ¡(singing, ¡instrumental, ¡applause; ¡laughter; ¡

performance ¡vs. ¡“casual” ¡speech) ¡ ¡

OpenMary ¡ Laynor ¡ Stein ¡ Spectogram ¡created ¡with ¡ARLO ¡of ¡the ¡line ¡“. ¡. ¡. ¡some ¡such ¡thing.” ¡(by ¡OpenMary, ¡ Gertrude ¡Stein, ¡and ¡Gregory ¡Laynor) ¡from ¡Gertrude ¡Stein's ¡The ¡Making ¡of ¡ Americans ¡ ¡

Different ¡voices ¡

Pound’s ¡Canto ¡XLV ¡recorded ¡in ¡DC, ¡1958 ¡and ¡Harvard, ¡1939 ¡

Same ¡content, ¡same ¡voices, ¡performance ¡ versions ¡

“design” ¡vs. ¡“delight” ¡in ¡Pound’s ¡Canto ¡XLV ¡recorded ¡in ¡DC, ¡1958 ¡and ¡Harvard, ¡1939 ¡ ¡ DC, ¡1958 ¡ Harvard, ¡1939 ¡

Different ¡content, ¡same ¡voices ¡

“Forgive ¡me” ¡in ¡William ¡Carlos ¡Williams, ¡“This ¡is ¡Just ¡to ¡Say”, ¡Dec., ¡1951, ¡Harvard ¡

Finding ¡similar ¡prosodic ¡pa_erns ¡

Frost ¡reading ¡poems ¡on ¡Side ¡B. ¡of ¡William ¡A. ¡Owens’ ¡folklore ¡recordings ¡ ¡

Iden*fying ¡different ¡pa_erns ¡

Iden*fying ¡genres ¡

Excerpt ¡from ¡a ¡2007 ¡interview ¡with ¡Larry ¡Aitken, ¡the ¡tribal ¡historian ¡from ¡the ¡ Leech ¡Lake ¡Band ¡of ¡Ojibwe ¡conducted ¡by ¡Dr. ¡Tim ¡Powell ¡when ¡he ¡was ¡director ¡

• f ¡the ¡Center ¡for ¡NaIve ¡American ¡studies ¡at ¡the ¡University ¡of ¡Pennsylvania. ¡

The ¡second ¡image ¡has ¡been ¡tagged ¡by ¡a ¡user ¡to ¡show ¡the ¡different ¡ways ¡that ¡ English, ¡spoken ¡Ojibwe, ¡drum ¡beats, ¡and ¡chanIng ¡are ¡visualized. ¡ ¡

Room ¡Sounds: ¡Kitchen ¡

Finding ¡“Forgive ¡Me” ¡in ¡ARLO ¡

Use ¡case ¡#3: ¡finding ¡similar ¡pa_erns ¡

PennSound ¡Tagging ¡Interface ¡

Facilita*ng ¡Mark ¡up ¡

What ¡poets ¡want ¡to ¡mark ¡up ¡

PennSound ¡Tagging ¡Interface ¡

A ¡brief ¡history ¡of ¡classifica*ons ¡

• Johansson, ¡S*g. ¡1995. ¡“The ¡Encoding ¡of ¡Spoken ¡Texts.” ¡

Computers ¡and ¡the ¡Humani5es ¡29 ¡(2): ¡149–58. ¡

• Karpiński, ¡Maciej. ¡2012. ¡“The ¡Boundaries ¡of ¡Language: ¡

Dealing ¡with ¡Paralinguis*c ¡Features.” ¡Lingua ¡ Posnaniensis ¡54 ¡(2). ¡

• Bernstein, ¡Charles ¡“Making ¡Audio ¡Visible: ¡Poetry’s ¡

Coming ¡Digital ¡Presence.” ¡In ¡ADack ¡of ¡the ¡Difficult ¡ Poems: ¡Essays ¡and ¡Inven5ons. ¡University ¡Of ¡Chicago ¡ Press, ¡2011: ¡107-­‑119. ¡Print. ¡

• Crystal, ¡David, ¡and ¡Quirk, ¡Randolph ¡(1964). ¡Systems ¡of ¡

Prosodic ¡and ¡Paralinguis5c ¡Features ¡in ¡English. ¡The ¡ Hague: ¡Mouton, ¡4 ¡

Paralinguis*cs ¡

• Prosody ¡

Prosody, ¡which ¡has ¡been ¡defined ¡by ¡linguists ¡as ¡ comprising ¡varying ¡degrees ¡of ¡intona*on, ¡stress, ¡ and ¡rhythm, ¡conveys ¡meaning ¡through ¡phrasing ¡ and ¡prominence. ¡

Paralinguis*cs ¡

• Vocal ¡quality ¡

Crystal ¡and ¡Quirk ¡dis*nguish ¡between ¡voice ¡ quali5es, ¡which ¡include ¡different ¡modes ¡(normal ¡ voice, ¡whisper, ¡breathiness, ¡huskiness, ¡creak, ¡ false_o, ¡and ¡resonance); ¡and ¡voice ¡ qualifica5ons, ¡which ¡ordinarily ¡interrupt ¡speech ¡ (laughter, ¡giggling, ¡tremulousness, ¡sobbing, ¡and ¡ crying) ¡(Crystal ¡and ¡Quirk, ¡1964). ¡ ¡

TEI ¡Transcrip*ons ¡of ¡Speech ¡

h_p://www.tei-­‑c.org/release/doc/tei-­‑p5-­‑doc/en/html/TS.html ¡

Paralinguis*cs ¡

<shiN> ¡element ¡in ¡TEI: ¡ ¡ @tempo ¡“Very ¡Slow”, ¡“Slow”, ¡“Moderate”, ¡“Fast”, ¡“Very ¡Fast.” ¡ @rhythm: ¡“Beatable” ¡on ¡one ¡end ¡of ¡the ¡spectrum ¡and ¡ “Arrhythmic” ¡(flat ¡or ¡“ordinary ¡speech”) ¡on ¡the ¡other ¡ ¡ @loudness: ¡“Very ¡Sox”, ¡“Sox”, ¡“Moderate”, ¡“Loud”, ¡and ¡“Very ¡ Loud.” ¡ ¡ @pitch: ¡“Low,” ¡“Middle,” ¡and ¡“High” ¡pitches. ¡ ¡ @tension: ¡“Slurred” ¡or ¡“Lax” ¡for ¡“looser” ¡ar*cula*on ¡and ¡“Very ¡ Precise” ¡or ¡“Tense” ¡to ¡signify ¡very ¡pronounced ¡ar*cula*ons. ¡ ¡ @voice: ¡“Whisper”, ¡“Breathy”, ¡“Husky”, ¡“Creaky”, ¡“False_o”, ¡ “Resonant”, ¡“Unvoiced ¡Laugh ¡or ¡Giggle”, ¡“Voiced ¡Laugh”, ¡ “Tremulous”, ¡“Sobbing”, ¡“Yawning”, ¡and ¡“Sighing.” ¡

PennSound ¡Tagging ¡Interface ¡

It ¡is ¡not ¡possible ¡to ¡say ¡when ¡giggle ¡ends ¡and ¡ laugh ¡begins, ¡or ¡when ¡cry ¡ends ¡and ¡sob ¡begins, ¡ though ¡doubtless ¡it ¡would ¡be ¡possible ¡to ¡ examine ¡a ¡great ¡quan*ty ¡of ¡data ¡and ¡obtain ¡ some ¡measurements ¡(of ¡pulse ¡speed, ¡air ¡ pressure, ¡prominence, ¡for ¡example) ¡which ¡ would ¡be ¡of ¡value ¡in ¡establishing ¡more ¡objec*ve ¡ grada*ons. ¡It ¡is ¡doubyul, ¡however, ¡whether ¡the ¡ results ¡would ¡jus*fy ¡the ¡*me ¡and ¡ingenuity ¡

• involved. ¡

Crystal, ¡David, ¡and ¡Quirk, ¡Randolph ¡(1964). ¡Systems ¡of ¡Prosodic ¡and ¡Paralinguis5c ¡Features ¡ ¡in ¡English. ¡The ¡Hague: ¡Mouton, ¡42. ¡

Compromises ¡on ¡classifying ¡sound ¡

“an ¡electronic ¡representa*on ¡must ¡strike ¡a ¡ balance ¡between ¡the ¡following ¡two, ¡par*ally ¡ conflic*ng, ¡requirements: ¡authenIcity ¡and ¡ computaIonal ¡tractability” ¡(TEI ¡2014). ¡ ¡

Three ¡compromises ¡on ¡classifying ¡ sound ¡

Compromise ¡#1: ¡Moving ¡from ¡text ¡to ¡sound ¡ ¡ We ¡must ¡start ¡compromising ¡the ¡ease ¡of ¡searching, ¡ browsing, ¡publishing, ¡and ¡teaching ¡with ¡text ¡with ¡ the ¡difficult ¡work ¡of ¡figuring ¡out ¡how ¡to ¡talk ¡about ¡ how ¡and ¡how ¡to ¡describe ¡searching, ¡browsing, ¡ publishing, ¡and ¡teaching ¡with ¡sound. ¡ ¡

Three ¡compromises ¡on ¡classifying ¡ sound ¡

Compromise ¡#2: ¡Moving ¡from ¡fixed ¡to ¡emergent ¡ meaning ¡ We ¡must ¡start ¡compromising ¡the ¡ease ¡of ¡ represen*ng ¡sounds ¡as ¡fixed ¡in ¡meaning ¡with ¡ the ¡difficult ¡work ¡of ¡represen*ng ¡the ¡meaning ¡of ¡ sound ¡as ¡an ¡emergent ¡phenomena. ¡ ¡ ¡

Three ¡compromises ¡on ¡classifying ¡ sound ¡

Compromise ¡#3: ¡Moving ¡from ¡discrete ¡to ¡ contextual ¡ We ¡must ¡compromise ¡the ¡ease ¡of ¡represen*ng ¡ sound ¡as ¡a ¡discrete ¡event ¡and ¡we ¡must ¡do ¡the ¡ difficult ¡work ¡of ¡describing ¡sound ¡as ¡

• contextualized. ¡ ¡

Three ¡compromises ¡on ¡classifying ¡ sound ¡

A ¡new ¡hermeneu*cs: ¡ ¡ h_ps://sites.google.com/site/nehhipstas/ project-­‑pages ¡ ¡ ¡ ¡

Thank ¡you! ¡ Ques*ons? ¡ ¡ tclement@ischool.utexas.edu ¡

¡ ¡ Special ¡thanks ¡to ¡my ¡co-­‑PI’s ¡David ¡Tcheng ¡and ¡LoreDa ¡Auvil, ¡and ¡ the ¡Na5onal ¡Endowment ¡for ¡the ¡Humani5es. ¡