Techブログ

ダンスが好きな元公務員が技術に関するあれこれを書いていきます。

指定したファイルから特定の文字列を検索してコメントアウトするコマンド

タイトル通りです。以下のコマンドで行けます。 echo $'g/検索文字/s/^/#/\nwq' | ex ファイル名

pandasでexcelを開くときは「xlrd」より「openpyxl」の方が安定してるかもしれない話

はじめに pandasを初めて使って早2年強。この度業務で初めてexcelファイルを取り扱う必要が出てきました。 テキストファイル安定のこのご時世、エクセルみたいなバイナリーファイルという時点で不安はあったのですが、案の定読み込みの時点で少し面倒だった…

【AWS】踏み台サーバを利用した多段sshを構築しVScodeで接続するまで

AWS

多段sshでサーバーを構築することになったので作業がてらメモ。尚、プライベートサブネット内のEC2からの戻りトラフィックを有効にしたい場合、下記構成にプラスして、NATゲートウェイをパブリックサブネット内におき、プライベートサブネットへのルーティン…

ImageOnlyTransformクラスを継承して、RandomShadowのdata augmentationを実装

CutoutとRandom Erasing 最早定番となったdata augmentationの手法であるCutout/Random Erasing、入力画像をランダムなマスクで欠落させることで、より強い正則化の効果を作り出すことを狙いとしています。 Cutout [arXiv] Cutout Random Erasing [arXiv] Ra…

Linuxのrenameコマンドについて

経緯 手元にある大量のjpgファイル。頭文字に一括で文字を付けたい時に今までは以下のコマンドで行っていました。 # rename "s/[変更前]/[変更後]" [ File-Path ] # 拡張子に".jpg"をもつ全てのファイルに対して先頭に"hoge-"を追加 $ rename "s/^/hoge-/" *…

GCP + Docker + GPU + VSCode でKaggleの環境構築

Kaggleなどの機械学習コンペ。モデリング自体は勿論ですがそれ以前に環境構築に手間暇取られがち問題が多いので、ブログにまとめました。(他の誰かのためになれば幸い) あくまで個人のメモ程度にみてもらえればと思います。 GCloud SDK をインストール GCl…

AtCoder 東京海上日動 プログラミングコンテスト2020

AB2完の緑パフォでした。そして今回のコンテストでようやくレート緑になることができました! 個人的にレート緑は最初の目標として掲げていたので、ようやくですが入緑できてほっとしています。これからも少しずつ伸ばしていきたい。 A - Nickname 問題のリ…

第三回 アルゴリズム実技検定

A ~ O の全15問中、Gまで7問完答で初級でした。普段のAtCoderと違って実務よりの問題が多いとは聞いてましたが、確かに現実にありそうなシーンを意識して作問してる雰囲気は感じました。今回のAtCoderアルゴリズム実技検定はコロナウイルス影響で無料受験可…

PyTorch Scheduler Class の Chaining

今回はPyTorch 1.4.0から追加された新機能であるSchedulerのChainingについてです。この方のQiita記事で知ったのですが、PyTorchのschedulerに新機能が追加された様です。 qiita.com 内容はシンプルで、今までは学習ループの中に1種類しか組み込めなかったsc…

AtCoder ABC 169

ABCD4完の緑パフォでした。今までのABC挑戦の中で、最速でDまで解けたけど(18分)、Cでつまづいてしまいました。考え方については途中気付いたけどなぜか通らずゴニョゴニョしてたら通った感じです。こういったプログラミング言語あるある(桁溢れ問題)は…

matplotlibで凡例を枠外にしたプロット図をsaveする際に見切れない様にする方法

題名の通りです。凡例を枠外に出す方法はググると沢山出てくるのですが、plt.show()で表示する際には問題なくてもsaveする際に見切れてしまう罠が待っています。 同じ様に困って毎回調べる人も多そうなのでブログにしておきました。 【結果】 【コード】

AtCoder ABC 168

ABC3完の茶色パフォでした。今回のレベルでDまで行けなかったのは不甲斐ないので、改めて精進したい。 A - ∴ (Therefore) 問題のリンク 概要 の一の位で場合分け 制約 は以下の正の整数 考察 特になし コード N = input() if int(N[-1]) in [2,4,5,7,9]: pri…

AtCoder ABC 167

ABCD4完の緑パフォでした。 A - Registration 問題のリンク 概要 以下の二つの文字列が等しいか否か , 及びの末尾を削ったもの 制約 考察 特になし コード S = input() T = input() if S == T[:-1]: print('Yes') else: print('No') B - Easy Linear Program…

Random Grid Shuffle の実装

ある画像をいくつかのブロックに分割し、ランダムに並び替えたい時があったのでメモ。 albumentationsにもRandomGridShuffleクラスがあり、似たようなことはできるのですがこちらは各ブロックのフリップが出来なそうだったので自分で実装しました。もっと効…

AtCoder ABC 165

ABCD4完で水色パフォでした。以下振り返り。 A - We Love Golf 問題のリンク 概要 要は以上、以下の数にの倍数が含まれるか否か。 制約 考察 面倒なので愚直に全探索 コード K = int(input()) A, B = map(int, input().split()) for i in range(A, B+1): if …

AtCoder ABC 162

ABCD4完の緑パフォでした。以下振り返りと反省。 (2020年4月13日 D問題別解追記) A - Lucky 7 問題のリンク 概要 3桁の整数が与えられる。 のいずれかの桁に7が含まれるか否か。 制約 入力は全て整数 考察 特になし コード N = input() if N[0]=='7' or N[…

AtCoder ABC 161

ABC3完緑パフォでした。以下振り返りと反省。 ABC Swap 問題のリンク 概要 箱に数字が入っている。 との中身を入れ替える。 との中身を入れ替える。 最終的な数字の中身は? 制約 入力は全て整数 考察 勿論一発でprint(Z, X, Y)で行けるし、分かってるんだけ…

AtCoder ABC 160

3完でした。DはTLEでしたが、コンテスト終了後にPyPyを選択するとコードの書き換えなしでACでした。。。後の祭りですが、次回からはPythonだけでなく、PyPy試す事忘れずにいきたい。 (2020年4月1日 E問題追記) A - Coffee 問題のリンク 概要 文字列の3文字…