日: 2022年12月28日

  • mac でファイルの文字コードを確認する

    生成したファイルの文字コードを確認したいケースがある。

    file コマンドを用いて確認することが可能

    file --mime /tmp/xxx/csv
    

    結果は以下の通り

    $ file --mime /tmp/xxx/csv
    /tmp/xxx/csv: text/csv; charset=utf-8
    

    utf-8 であることを確認

  • python dataframeで csv 出力する際の先頭の ,(カンマ)を削除する

    以下のように pandas dataframe をcsv に変換すると

    df.to_csv(f'/tmp/{output}', mode='w', encoding='utf-8')

    先頭に,(カンマ)が入ってしまう

    ,TITLE,NUMBER,xxx
    hoge,1,xxx
    

    この対処法として

    index=False

    を追加することによって回避が可能

    df.to_csv(f'/tmp/{output}', mode='w', encoding='utf-8', index=False)

    結果は以下の通り

    TITLE,NUMBER,xxx
    hoge,1,xxx
    

    先頭の,(カンマ)が取り除かれた状態で csv が生成された。