UnicodeDecodeError: ‘utf-8’ codec can’t decode byte

はじめに

Pythonで機械学習の勉強をはじめるようになって、ファイルを読み込むことが多くなった。

その際、UTF-8フォーマットじゃないと何かと

“` UnicodeDecodeError: ‘utf-8’ codec can’t decode byte “`

というエラーに陥ることになってしまったので、手順をまとめる

nkfコマンドのinstall

macでデフォルトで入っていないのでbrewコマンドでinstallする

“`brew install nkf “`

変換

まずは作業前

$ file --mime data.csv
data.csv: text/plain; charset=unknown-8bit

変換コマンド

“` nkf -w –overwrite data.csv “`

$ file --mime data.csv
data.csv: text/plain; charset=utf-8

文字コードが代わり、エラーは出なくなった。