カテゴリー: tech

  • argocd login 実行時の TOKEN の保存場所

    argocd で CLI でログインした場合の TOKEN が発行されるがその格納先について

    以下のコマンドでログインした場合

    argocd login argo.sumito.jp:443 --sso

    TOKEN はこちらに格納される

    ~/.config/argocd/config
    
    users:
    - auth-token: xxxx.xxxx.xxxxx
      name: argo.sumito.jp:443
      refresh-token: xxxxx
    

    これを TOKEN に設定することで API にアクセスが可能

    curl -X GET -H "Content-Type: application/json" "https://$ARGOCD_SERVER/api/v1/applications" -H "Authorization: Bearer $ARGOCD_TOKEN"
    

  • qemu: uncaught target signal 11 (Segmentation fault) – core dumped

    m1/m2 mac に powershell のコンテナを動かして powershell の modules をインストールすると、core dump を吐いて止まってしまうことがある。その対処法を紹介。

    /# pwsh -Command Install-Module -Name Microsoft.Graph -F
    qemu: uncaught target signal 11 (Segmentation fault) - core dumped
    Segmentation fault
    

    イメージを lts を利用することで回避ができた

    docker run --platform linux/x86_64  -it mcr.microsoft.com/powershell:lts-ubuntu-22.04 /bin/bash
    Unable to find image 'mcr.microsoft.com/powershell:lts-ubuntu-22.04' locally
    lts-ubuntu-22.04: Pulling from powershell
    Digest: sha256:cb32194aa46f144c09c1a6610eee2684e3642b8609370aba927ab995b413931f
    Status: Downloaded newer image for mcr.microsoft.com/powershell:lts-ubuntu-22.04
    root@6d03d590fb19:/# pwsh -Command Install-Module -Name Microsoft.Graph -F
    root@6d03d590fb19:/#
    
  • E: Couldn’t find any package by regex ‘gcc-c+’

    Docker のベースイメージを Centos から Debian に変更し、

    yum install していたところを、

    apt-get install に雑に変更したら gcc-c+ がないよというエラーが陥った。

    原因は Debian ではこのパッケージ名で存在していないから。

    以下のように変更することで対処可能

    apt-get install g++
    

    また、c++ と、g++ の違いについては以下のページを参照

  • mac でファイルの文字コードを確認する

    生成したファイルの文字コードを確認したいケースがある。

    file コマンドを用いて確認することが可能

    file --mime /tmp/xxx/csv
    

    結果は以下の通り

    $ file --mime /tmp/xxx/csv
    /tmp/xxx/csv: text/csv; charset=utf-8
    

    utf-8 であることを確認

  • python dataframeで csv 出力する際の先頭の ,(カンマ)を削除する

    以下のように pandas dataframe をcsv に変換すると

    df.to_csv(f'/tmp/{output}', mode='w', encoding='utf-8')

    先頭に,(カンマ)が入ってしまう

    ,TITLE,NUMBER,xxx
    hoge,1,xxx
    

    この対処法として

    index=False

    を追加することによって回避が可能

    df.to_csv(f'/tmp/{output}', mode='w', encoding='utf-8', index=False)

    結果は以下の通り

    TITLE,NUMBER,xxx
    hoge,1,xxx
    

    先頭の,(カンマ)が取り除かれた状態で csv が生成された。

  • jq コマンドのシングルクォート内に変数を渡す

    シェルで jq コマンドで変数を渡す際、jq コマンドで シングルクォート が使われているために期待通り変数を渡すことができない。

    今回は jq コマンドのシングルクォート内に変数を渡す方法を紹介。

    (さらに…)
  • GitHub Actions で requesting ‘id-token: write’, but is only allowed ‘id-token: none’. の対処

    repository の settings を変更する

    デフォルトで

    Read repository contents permission

    になっているが、

    Read and write permissions

    に変更して Save する

  • n日以降に ECR に push された image を調べる

    今後もつかそうなのでメモ

    aws ecr describe-images --repository-name $REPOSITORY  --query "reverse(sort_by(imageDetails[*], &imagePushedAt))" | jq '.[] | select(.imagePushedAt > "2022-12-01T00:00:00+09:00")'
    

    REPOSITORY に pushされた image を取得することができる

  • ECR の全リポジトリ名を取得する

    よく使うので tips として書き留めておく。

    以下のコマンドで取得可能

    aws ecr describe-repositories --output json | jq -re ".repositories[].repositoryName"
    

    結果は、ECR のリポジトリが表示される

    ecr-test-repo1
    ecr-test-repo2
    
  • Office365-REST-Python-Clientを使用したSharePointへの1GBファイルのアップロード方法

    概要

    sharepoint に 大容量(1G)のファイルをアップロードする方法を紹介

     

    CURL コマンドでやると、以下の記事で紹介のあるように認証周りに骨が折れる。

    https://rougeref.hatenablog.com/entry/2020/04/15/000000

    そこで、認証周りを包括しつつ非常に簡単にアップロードできるライブラリを紹介。

    インストール方法

    pip install Office365-REST-Python-Client

     

    サンプルコード

    以下のコードはサンプルとしてユーザー認証をしている。

    アプリケーションを登録して利用することが望ましい。

    sharepoint_url と、UserCredential の部分を適宜修正することでそのまま利用可能。

    from office365.runtime.auth.user_credential import UserCredential
    from office365.sharepoint.client_context import ClientContext
    from office365.sharepoint.files.creation_information import FileCreationInformation
    import os
    
    def get_sharepoint_context_using_user():
    
    sharepoint_url = 'https://xxxxxxxxxx.sharepoint.com/sites/upload-test'
    user_credentials = UserCredential('xxxxxxxxxx@sumito.jp', 'password')
    ctx = ClientContext(sharepoint_url).with_credentials(user_credentials)
    return ctx
    
    def create_sharepoint_directory(dir_name: str):
    """
    Creates a folder in the sharepoint directory.
    """
    if dir_name:
    
    ctx = get_sharepoint_context_using_user()
    
    result = ctx.web.folders.add(f'Shared Documents/{dir_name}').execute_query()
    
    if result:
    # documents is titled as Shared Documents for relative URL in SP
    relative_url = f'Shared Documents/{dir_name}'
    return relative_url
    
    
    target_url = "/sites/upload-test/Shared Documents/test-tsukada-dir-hoge"
    ctx = get_sharepoint_context_using_user()
    target_folder = ctx.web.get_folder_by_server_relative_url(target_url)
    size_chunk = 1000000
    local_path = "1G.csv"
    
    def print_upload_progress(offset):
    file_size = os.path.getsize(local_path)
    print("Uploaded '{0}' bytes from '{1}'...[{2}%]".format(offset, file_size, round(offset / file_size * 100, 2)))
    
    create_sharepoint_directory('test-tsukada-dir-hoge')
    
    with open(local_path, 'rb') as f:
    uploaded_file = target_folder.files.create_upload_session(f, size_chunk,print_upload_progress).execute_query()

     

    動作確認