語料訪問

Corpora是一個(gè)展示多個(gè)文本文檔集合的組。 單個(gè)集合稱為語料庫(kù)。 其中一個(gè)著名的語料庫(kù)是古騰堡語料庫(kù)，其中包含大約25,000本免費(fèi)電子書，由 http://www.gutenberg.org/ 托管。 在下面的例子中，只訪問語料庫(kù)中那些文件的名稱，這些文件是純文本，以.txt結(jié)尾的文件名。

from nltk.corpus import gutenberg
fields = gutenberg.fileids()

print(fields)

執(zhí)行上面示例代碼，得到以下結(jié)果 -

[austen-emma.txt', austen-persuasion.txt', austen-sense.txt', bible-kjv.txt', 
blake-poems.txt', bryant-stories.txt', burgess-busterbrown.txt',
carroll-alice.txt', chesterton-ball.txt', chesterton-brown.txt', 
chesterton-thursday.txt', edgeworth-parents.txt', melville-moby_dick.txt',
milton-paradise.txt', shakespeare-caesar.txt', shakespeare-hamlet.txt',
shakespeare-macbeth.txt', whitman-leaves.txt']

訪問原始文本

可以使用sent_tokenize函數(shù)從這些文件中訪問原始文本，該函數(shù)也可以在nltk中使用。 在下面的例子中，將檢索blake-poen文本的前兩段。

from nltk.tokenize import sent_tokenize
from nltk.corpus import gutenberg

sample = gutenberg.raw("blake-poems.txt")

token = sent_tokenize(sample)

for para in range(2):
    print(token[para])

當(dāng)運(yùn)行上面的程序時(shí)，我們得到以下輸出 -

[Poems by William Blake 1789]


SONGS OF INNOCENCE AND OF EXPERIENCE
and THE BOOK of THEL


 SONGS OF INNOCENCE


 INTRODUCTION

 Piping down the valleys wild,
   Piping songs of pleasant glee,
 On a cloud I saw a child,
   And he laughing said to me:

 "Pipe a song about a Lamb!"
So I piped with merry cheer.