install これに先立ちpython3.7を入れておく。 pipでvirtualenvを入れる。 なんかいろんなtipsをみる限り、sudoをつける必要あり。どこにinstallされているかわかるように、--verboseをつけておく。 $ sudo pip3 install virtualenv --verbose コマンドとし…

virtualenvでpython3.6を入れたいので、Raspiにpython3.7.2を入れる。 $ sudo apt install libffi-dev libssl-dev openssl $ wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz # 3.7.2をmake $ tar zxvf Python-3.7.2.tgz $ cd Python-3.7.2 …

spike時刻がneuronごとに";"区切りで, 縦に並んで記録されている時にデータを読み込む def load_data(filepath, format="list"): """ ;区切りのデータをnumpyで扱える形に読み込む データはlistでここの要素はspike time """ with open(filepath, "r") as f:…

shellで行います。 ファイル名がepsからpdfに変わったものとして出力させます。 ファイル名を取得して、ループで回します。 for var in `ls *eps` do name=`basename $var .eps` echo $name.pdf epstopdf $var $name.pdf done

Kerasでlayerにこちらから指定した初期値を入れて、固定する方法について書いてます。 一度学習したネットワークのconv層のfilterの一部だけを使用したいことがあったのでその時の記録です。 初期値の代入はkeras.initializers.Constant()を利用する。 train…

C++でリンクをした際にでたエラーについて class Hogeを作成した際にでてきたエラー // hoge.h class Hoge{ ... public: Hoge() {}; ... virtual void func(); ... virtual ~Hoge(){}; }; のようなクラス定義をした。hoge.cppもこれに合うように作成した。 …

カメラでとったデータでファイル名が重複していまい困ったことがあったので一括で変換しました。 とりあえず頭文字にaをつけました。 macOSの写真アプリで管理していると、読み込んだ日ごとにdirectoryが生成されるので、同じ名前のファイルがあるとうまく表…

Convolution層に正則化を入れるにはいくつかあるようで、説明がすぐに出てこないのでメモ。 Conv1Dのような層の引数には３つの正則化がある kernel_reguralizer: filterのkernelの値に正則化を入れる bias_regularizer: bias項の値に正則化を入れる activity…

numpyを使って、 ランダムなデータを作ってそれをonehotにするやり方です。 n_dimはラベルの数。 n_dataは生成するrandomデータの数。 y = np.random.randint(0, n_dim, size=[n_data]) # to one-hot n_labels = len(np.unique(y)) y = np.eye(n_labels)[y] …

CNNのフィルターの中身をみる方法 一次元データの時 from tensorflow.keras.layers import Input, Dense, Conv1D, Flatten, Reshape from tensorflow.keras.models import Model n_filter = 10 inputs = Input(shape=(64,)) hidden = Reshape((64, 1))(input…

例として、１次元のCNNを使う時を取り上げます。 １次元のデータに対して、CNNを使う時にfilter分の次元が増えます。 これの次元の存在をinputを渡す時点で作る必要があります。 input: 100次元のデータ output: ２次元のデータ Function APIで書きます。 （…

joblibを使って並列計算するときの例 zipして引数を複数取る時 from joblib import Parallel, delayed def func(a, b): return a * b result = Parallel(n_jobs=-1)([delayed(func)(a, b) for a, b in zip([a_list, b_list])]) result[i]に１つ１つの結果が…

よく使うMakefileのメモ書き SFMTは乱数生成に使うやつ CC = g++ -std=c++11 OPTION = -I/usr/local/include -L/usr/local/lib -I../modules/SFMT-src-1.5.1 OPTIMIZE = -O3 -fopenmp DIR = ../module TEST = -DSFMT_MEXP=19937 .SECONDEXPANSION: a.out: ma…

macOSでgccをすると、 ...include-fixed/limits.h:168:61: fatal error: limits.h: No such file or directoryこんな感じのエラーに出会うことがあると思います。 パスがうまく通っていないことが原因です。 解決法 こんな感じ（versionは異なる）のファイル…

テキストファイルからある単語を検索して、その行以降を表示する方法についてまとめます。 手順は 単語をgrepで検索して行番号だけとる ある行番号以降をtailで表示 1. 単語をgrepで検索して行番号だけとる $ grep -n find_word $file | sed -e 's/:.*//g' 2…

前回(写真の人の顔に自動的にぼかしを入れる (OpenCV) - 情報関連の備忘録)opencvでは満足のいくdetectが出来なかったので、DNNでごり押しします。 kerasを使ってretinanetを利用します。学習に使うデータはすでにアノテーションされているものを利用します…

目標 1. jpgで画像を読み込み 2. OpenCVで顔を認識 3. そのエリアにぼかしを入れる。適当に平滑化する 完成したコード 補足: RAWデータを直接扱う時 参考 目標 たくさん写真があって他人が写っているとSNSにはあげられないので、ぼかしを入れることが多いと…

以下では例としてdouble型を扱っています。 2次元 mallocを複数かます staticな配列を利用する mallocを複数かます array[N][M]で参照できるようにしたい。 イメージ: まず、N個の長さのポインタの配列をとる。 次に、N*M個の長さのdoubleの配列をとる。 M個…

matplotlib.pyplotで２次元の行列をax.imshowすると画像になります。この時に、colorbarを表示する時には、plt.colorbarではダメです。 colorbarの表示 ax.imshow()した時のオブジェクトが必要になります。imに入れています。 Xは二次元の行列です。値は規格…

bashで掛け算するには少し注意が必要。 以下の３パターンが考えられるが、少数を計算するときは、awkが一番楽. exprコマンド bcコマンド awkコマンド 整数の計算 exprコマンドでは掛け算の時または括弧には\が必要。 > a=3 > b=6 > expr $a \* $b 18 少数の…

アルゴリズム 数列を半分半分に分割していって並び替えたものを作る 順番を揃えつつmergeする 基本はこれだけ。最小分割単位１では何もしないこととmergeするときのアルゴリズムに注意する。 コード例 startはsortするはじめのindexで,endは最後のindex+1に…

問題 double型の0から1の実数を２進数表記する。 考え方 簡単な例として0.5は２進数では0.1とかける。 つまり、２倍して1のくらいが1になれば１を立てる。 コード例 #include<iostream> #include<string> using namespace std; string bitRep(double x){ string ans = "0."; wh</string></iostream>…

問題 最大32bit整数N, Mが与えられたときにNのjビット目からiビット目にMを挿入する。 考え方 Nのjからiビットを0に変えて、Mを挿入する 注意 ビットは0から数える。一番右が0ビット目。 コード例 #include<iostream> #include<bitset> using namespace std; unsigned int inse</bitset></iostream>…

$ sshfs usrname@hostname:/remote_path/ /local_path/ sshfsでは~を使うとエラーが出る。rootユーザーになるからとか書いてあった気がする。 $ sshfs usrname@hostname:~/remote_path/ /local_path/ fuse: invalid argument `~/remote_path/` のようなエラ…

余白をなくしたいとき 以下のように保存すると余計な余白が消える。 fig = plt.figure() ax = fug.add_subplot(111) # 略 plt.savefig("sample.pdf", bbox_inches="tight", pad_inches=0.05) 論文用にデータをプロットするとき plt.rcParams['mathtext.fonts…

OpenMPの並列計算で行列の同じ要素にアクセスするときに同時に書き換えるとデータが壊れる可能性がある。 atomicを使うとどれかのスレッドでアクセスしている際にその作業が終わるまで待つようになる。 何度も同じ要素にアクセする際には計算時間が遅くなる…

パイプで繋げるときは次のコマンドは!いらない。 例として、 !cat temp.txt | wc -l またawkを使うときには注意が必要で、{{, $$にする必要がある。 !cat temp.txt | awk '{{print $$1 " " $$2}}' ほんとはこの出力をそのままnp.loadtxtとかに渡したいけど、…

以下のようなテキストファイルの１列目の値でuniqueな個数を数える。 # sample.txt 41 83 83 186 88 186 989 187 494 210 98 225 以下のコマンドで重複しないで１列目の値だけを表示する。 cat sample.txt | awk `a[$1]++ == 0 {print $1}' 行の数を数えると…

キューはFIFO（先入れ先出し）のデータ構造です。 キューがもつ操作は add(item)：要素を追加する remove()：先頭の要素を削除する peek(): 先頭の要素を返す isEmpty(): キューが空の場合にTure class Queue(): class Node(): def __init__(self, data): se…

問題 連結リストとある値xが与えられたときにxの前にxよりも小さい値が、後にxよりも大きい値が来るようにする。 考え方 xよりも小さい数のリストと大きい数のリストを作り、最後にくっつける。 時間計算量はO(N) コード例 import random class Node(): def …