Skip to content

add logs for classification bootstrap experiments#35

Merged
NouamaneTazi merged 3 commits into
mainfrom
bootstrap-logs
Aug 4, 2022
Merged

add logs for classification bootstrap experiments#35
NouamaneTazi merged 3 commits into
mainfrom
bootstrap-logs

Conversation

@NouamaneTazi

@NouamaneTazi NouamaneTazi commented Aug 3, 2022 •
edited
Loading

Copy link
Copy Markdown
Member

Fixes #25

Should look like this now:

INFO:mteb.evaluation.MTEB:

********************** Evaluating Banking77Classification **********************
INFO:mteb.evaluation.MTEB:Loading dataset for Banking77Classification

Task: Banking77Classification, split: test. Running...
INFO:mteb.abstasks.AbsTaskClassification:========== Experiment 1/10 ==========
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 616 training sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:00<00:00, 911.78it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 3080 test sentences...
Batches: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97/97 [00:00<00:00, 1613.25it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Fitting logistic regression classifier...
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Evaluating...
INFO:mteb.abstasks.AbsTaskClassification:========== Experiment 2/10 ==========
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 616 training sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:00<00:00, 861.96it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 3080 test sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97/97 [00:00<00:00, 778.12it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Fitting logistic regression classifier...
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Evaluating...
INFO:mteb.abstasks.AbsTaskClassification:========== Experiment 3/10 ==========
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 616 training sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:00<00:00, 206.19it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 3080 test sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97/97 [00:00<00:00, 767.06it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Fitting logistic regression classifier...
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Evaluating...
INFO:mteb.abstasks.AbsTaskClassification:========== Experiment 4/10 ==========
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 616 training sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:00<00:00, 341.38it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Encoding 3080 test sentences...
Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97/97 [00:00<00:00, 918.69it/s]
INFO:mteb.evaluation.evaluators.ClassificationEvaluator:Fitting logistic regression classifier...

Muennighoff
Muennighoff approved these changes Aug 4, 2022
View reviewed changes

@Muennighoff Muennighoff left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

Comment thread mteb/abstasks/AbsTaskClassification.py Outdated
@NouamaneTazi @Muennighoff
Update mteb/abstasks/AbsTaskClassification.py
9255249 
Co-authored-by: Niklas Muennighoff <n.muennighoff@gmail.com>
@NouamaneTazi NouamaneTazi merged commit 3ff35c5 into main Aug 4, 2022
@KennethEnevoldsen KennethEnevoldsen deleted the bootstrap-logs branch March 20, 2024 17:03
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Reviewers

@Muennighoff Muennighoff Muennighoff approved these changes

Assignees

No one assigned

Labels

None yet

Projects

None yet

Milestone

No milestone

Development

Successfully merging this pull request may close these issues.

Clarify why there a multiple runs in the logs

2 participants

@NouamaneTazi @Muennighoff