文書を分割する際にnltkを使用したのですが、まあ案の定うまくいかなかったのでメモ。
from nltk import tokenize train['sentense'] = train['text(カラム名)'].apply(lambda x: tokenize.sent_tokenize(x))
で以下のエラーメッセージ。
```
LookupError:
*********************************************************************
Resource punkt not found.
Please use the NLTK Downloader to obtain the resource:
```
対処的にはnltkを使う際に別の環境を構築(ダウンロード)しないといけないっぽいです。
import nltk nltk.download()#これ
このダウンロードをするとこんな画面が急に出てきます。
でダウンロードすればちゃんと通ります。以下分割前後。
参考
https://analytics-note.xyz/mac/nltk-download/(https://analytics-note.xyz/mac/nltk-download/)