Automatic .gitignore generation

GitHub Docs: Ignoring files

• .gitignore 파일은 git add 할때 이 파일들은 빼놓고 하라는 뜻입니다.
• 보안상 민감한 파일일 수도 있고 github 용량제한을 넘어서는 대용량 파일일 수도 있습니다.
• 한참 일을 하다보니 발생한 대용량 파일을 잊고 커밋했다가 문제가 되었습니다.
• 이를 방지하고자 .gitignore 파일을 자동으로 생성하는 간단한 프로그램을 만들었습니다.

1. .gitignore 파일 구조

github/gitignore

• .gitignore는 아주 간단한 구조를 가지고 있습니다.
• add하지 않을 파일의 목록을 상대경로로 적어주기만 하면 됩니다.
• 제 .gitignore 파일의 일부입니다.

data_ml/X_train_full.pkl
data_ml/X3_test_full.pkl
data_ml/X3_train_full.pkl
data_ml/X3_full_poolconv.pkl

• 더 좋은 구조를 갖춘 .gitignore 파일의 예시를 모아둔 곳도 있습니다
• vim 같은 텍스트 편집기로 열어서 항목을 추가하면 됩니다.

2. .gitignore 파일 자동 생성 프로그램 제작

• 용량이 50 MB를 넘어서는 파일을 자동으로 모아 자동으로 .gitignore를 만들어 봅시다.
• 파일 생성이 귀찮은게 저만은 아니었는지, 이런 일을 하는 프로그램이 종종 보입니다.

2-1. 파이썬 프로그램 제작

• 다음과 같이 짧은 프로그램을 만듭니다.
• make_gitignore.py라는 이름으로 저장했습니다.

#!/usr/bin/env python
# coding: utf-8
import os

files_50m = "50m.txt"

# 1. find files larger than 50M
cmd_50m = f"find -size +50000k > {files_50m}"
os.system(cmd_50m)

# 2. edit lines and save
items = []
line = " "
with open(files_50m, "r") as rf:
    wf = open(".gitignore", "w")
    while len(line):
        line = rf.readline()
        if ".git" not in line.split("/"):
            add_item = line.lstrip("./")
            items.append(add_item)
            wf.write(add_item)
    wf.close()

# 3. verification
[print(item.rstrip("\n")) for item in items]

• 코드는 이런 작업을 합니다.
  1. 50MB를 넘는 파일 명단 작성 (50m.txt)
  2. 파일을 열어서 한 줄 한 줄 보면서
     2-1. .git이 포함된 파일은 무시하고
     2-2. 상대경로 처음 부분 ./ 삭제
     2-3. 바뀐 내용을 .gitignore 파일에 저장
  3. 목록을 출력합니다.

2-2. alias 설정

• 파이썬 프로그램을 만들었지만 이걸 실행하려고 python make_gitignore.py를 입력하기 번거롭습니다.
• 그냥 mg만 입력하면 되게 하고 싶네요.
• .bashrc 파일을 열고 한 줄 적어줍니다.

alias mg='python /workplace/utils/make_gitignore/make_gitignore.py'

• 위 줄에서 /workplace/utils/make_gitignore/는 제가 파일을 저장한 경로입니다.
• 각자 자기 설정에 맞게 변경하시면 됩니다.

2-3. 환경설정 적용

• source ~/.bashrc를 해서 바뀐 설정을 적용합니다.

3. 실행

• 이제 작업공간으로 가서 커밋하기 전에 명령어를 한 줄 실행합니다.

mg

• git add, commit에 이어 push도 해봅니다.
  
  

• 잘 됩니다.