Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 18
How to use cuadron11/BERnaT_base-contrastive-berria-4-1ep with sentence-transformers:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cuadron11/BERnaT_base-contrastive-berria-4-1ep")
query = "Which planet is known as the Red Planet?"
passages = [
"Venus is often called Earth's twin because of its similar size and proximity.",
"Mars, known for its reddish appearance, is often referred to as the Red Planet.",
"Jupiter, the largest planet in our solar system, has a prominent red spot.",
"Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
scores = model.predict([(query, passage) for passage in passages])
print(scores)This is a Cross Encoder model finetuned from HiTZ/BERnaT_base using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/BERnaT_base-contrastive-berria-4-1ep")
# Get scores for pairs of texts
pairs = [
['Zer estrategia mota proposatzen da XXI. mendean euskarak behar duenari buruz?', 'XX. mendeko Espainiako egitura autonomikoetan hizkuntzen koofizialtasun aipamena iruzurretan oinarritzen da; ustez koofizialak diren hizkuntzak ez direlako maila berdinean jartzen. Gernikako estatutua zaharkituta gelditu da arlo honetan; eta «Amejoramendua» berriz, nafar negoziatzaileek —ez estatukoek— parlamentuaren koofizialitateko agindua sabotatuta onartu zuten eta gerozko euskararen lege, dekretu, agindu Nafar Kontseiluaren diktamen eta erabakiak kutsatuta eta pozoinduta daude. Egunen batean argitaratuko dira sabotatzaile haien izenak.\n\nBaina eztabaida teoriko eta historikoak dagokien une eta gunerako utzita, atxiki gatzaizkion XXI. mendean euskarak behar duen estrategiari. Euskaldungoa, gehiengo handi baten, herritar eleaniztunez osatzen da dagoeneko eta osatuko da hemendik aurrera; euskara Europar eremu eta nazioarteko hizkuntza, tresna eta bitartekaria da; ez estatu batekoa edo bikoa. Errealitate honi dagokion estrategia eta aldarrikapenak dira eratu eta taxutu beharrekoak. Euskararen aldarriak europarra izan behar du eta orain jasaten eta nozitzen dugun egoera supremazismotzat salatu behar dugu, nahiz salaketa hori batzuek eta besteek zitaltzat joko diguten.\n\nFamilian eta gertu-gertuan azken euskaldun elebakar haiek ezagutu genituenok eta jasan eta nozitutako gutxiespen eta zapalkuntza saminak gogoan ditugunok, ez dugu igarotako egoera eta aro hari buruzko estrategiarik amestu behar. Aitzitik etorkizuneko gizartean pentsatuz eraiki behar dugu euskararen aldarria; eta aldarri horrek europarra izan beharko du. Gainera euskararen bizi iraupena bai Euskal Herriak nazio bezala izan edo ez izan lezakeen aurreikuspenekin egokitu behar da; —bien ala bien posibilitateekin alegia— jokatu beharko baita historiak erakusten duen bezala. Independentzia zale baten egitekoa da euskarari eustea edozein egoera eta kasuan.'],
['Zein dira Eusko Jaurlaritzak proposatutako erreforma fiskalaren proiektuaren onurak?', 'Lehendakariaren erantzuna\n\nImanol Pradales Eusko Jaurlaritzako lehendakariak «arduraz jokatzeko» exijitu die oposizioko alderdiei. Onartu du egoera «blokeatuta» dagoela, eta zergatien inguruko hausnarketa bat eskatu du. Oraindik akordioak erdiesteko denbora dagoela ere azpimarratu du. «Akordioa posible da; garaiz gaude, eta saiatu egin behar dugu».\n\nPradalesek kontatu du garrantzitsua dela alderdi politikoek «guztion ongizatea» lehenestea, «beste interes politiko, ekonomiko edo alderdikoi batzuen gainetik». «Erantzukizuna da berrikuspen fiskala eztabaidatzen denean edukiak eta neurri zehatzak aztertzea, inora ez daramaten beto politikoak eta taktizismoak alde batera utzita».\n\nLehendakariak zehaztu du erreforma fiskalaren proiektuak onurak ekarriko dizkiela gazteei, etxebizitza baten bila dabiltzanei, pentsiodunei eta amatasun edo aitatasun baimen baten ondoren lanera itzultzen diren langileei, eta EH Bilduri, PPri eta Ahal Dugu-ri galdetu die nola azalduko duten aldaketa horien aurkako jarrera. Horretarako, bere egin ditu atzo hiru aldundietako Ogasun diputatuek erabilitako hitzak: «Nola begiratuko diezue begietara gertatzen ari denarekin?», galdetu die alderdiei.\n\n«Erantzukizuna da berrikuspen fiskala eztabaidatzen denean edukiak eta neurri zehatzak aztertzea, inora ez daramaten beto politikoak eta taktizismoak alde batera utzita»\n\nIMANOL PRADALES Eusko Jaurlaritzako lehendakaria\n\nAdierazpenok gaurko kontrol saioan egin ditu, legebiltzarrean, Sumar taldeko Jon Hernandez legebiltzarkideak egindako galderari erantzunez. Hernandezek itaundu dio ea baduen asmorik eztabaidaren koordinazioa gidatzeko, «herrialde mailako fiskalitate bat» lortzeko helburuz, edo «izugarrizko porrota onartu, etsi eta erreformari uko» egingo dion.'],
['Nola prestatu zituen patatak familiarentzat?', 'Aita!\n\nBesteak, mutilak biak, ez ziren mugitu. Alabatxoa ondoan zuelarik, sukaldearen buelta egin zuen begiradaz: plater, ontzi eta katilu zikinak, botila hutsak, hautsa bertako altzari zahar bakanetan pilaturik.\n\nHau kuxidadea, atera zitzaion hasperen luze baten ondoren.\n\nAlaba neben ondora itzulitakoan, hauspoaren ondoko burdina hartu, erretzen ari ziren egurren artean sartu eta mugitu egin zituen, sua bizitze aldera. Seme-alabak begira zituen, mukiak sudurretik dilindan, ilea harroturik eta jantziak zikin-urratuak. Sugarrak sendotu zirenean, pertza urez bete eta laratzetik zintzilikatu zuen. Ura berotu bitartean, bazterrean zegoen zaku batetik patata batzuk atera zituen. Galtzetako eskuineko sakelatik, berriz, aizto bat, eta patatak zuritzeari lotu zitzaion. Aiztoak animalia baten adarraz egina zuen eskutokia. Patatak zuritutakoan, pertzera bota zituen, perrexila, gatz pixka bat eta zapi batean bildutako hirugiharrari kendu zion zatiarekin batera.\n\nKandido, hots egin zion semerik zaharrenari, hator nirekin. Eta zuek patatak zaindu, agindu zien beste biei.\n\nUkuilura joan ziren. Bazuten artean lanik egiteko bertan. Hauek ere afaldu behar ditek.\n\nIdiek marru egin zuten, beren adostasuna agertu nahian bezala. Lastoa banatzen amaitu arte ez ziren sutondora itzuli. Galtzen eskuineko sakelatik aiztoa atera zuen atzera, pertzera hurreratu eta patata batean sartu zuen.\n\nPronto dago.\n\n***'],
['Zein da Eusko Jaurlaritzaren helburua Europako Batzordeko goi kargudunekin egingo dituen bileretan?', 'Europan autodeterminazioa arautzearen aldeko foro batean parte hartuko du Urkulluk\n\nDatorren astelehenetik asteazkenera bitarte Bruselan egonen da Iñigo Urkullu Eusko Jaurlaritzako lehendakaria. Besteak beste, Atlantikoko Makroeskualdea, Eusko Jaurlaritzaren migratzaileentzako harrera eredua eta euskararen ofizialtasuna izango ditu hizpide Europako Batzordeko zenbait goi kargudunekin. Era berean, baina, EB Europako Batasunean autodeterminazioa erregulatzearen aldeko foro batean parte hartuko du, Self-determination caucus-ak gonbidatuta.\n\nMarian Elorza Eusko Jaurlaritzako Europako Batasuneko eta Kanpo Harremanetako idazkari nagusiak azaldu duenez, astelehenean, Urkullu Margaritis Schinas Bizimodu Europarra Sustatzeko presidenteordearekin bilduko da, «euskal harrera eredua» aurkezteko. Horrez gain, Elorzak esan du Urkullu Europako Batzordearen babesa lortzen saiatuko dela EBn euskara ofiziala izan dadin.\n\nDubravka Suiça Demokrazia eta Demografiako presidenteordea izanen du solaskide asteartean, Europako Eskualdeen Ekinaldia EBren politikak erabakitzeko prozesuan lantzen ari den proposamenen berri emateko. Arratsaldean, trantsizio berdeari buruz mintzatuko da Maros Sefcovic Europako Itun Berdearen, Erakunde Arteko Harremanen eta Prospektibaren presidenteordearekin. «Makroeskualde Atlantikorako» laguntza eskatzeko, berriz, Elisa Ferreira Kohesio eta Erreforma Komisarioarekin bilduko da.\n\nAsteazkenean eginen da autodeterminazioari buruzko foroa Europako Parlamentuan, eta Urkulluk arratsaldean parte hartuko du, Kataluniako eta Korsikako presidenteekin batera. Self-determination caucus-ak antolatutako ekitaldia da, eta han aurkeztuko dute EBn autodeterminazio eskubidea arautzeko proposamena. Talde hark irailean egin zuen lehen aurkezpen bat. Autodeterminazio eskubidea EBn gauzatzeko modua ematea eta halako kasuetan herritarren «eskubide eta askatasunak» errespetatzea ezarri zituzten xede gisa.'],
['Zenbat handitu dira etxebizitzen salerosketak 2014tik?', 'Araban, Bizkaian eta Gipuzkoan ere etxebizitza berri gutxiago espero ditu Eustatek. Gaur bertan kaleratutako estatistikaren arabera, urteko lehen sei hilabeteetan 1.846 etxebizitza berri jarri dira salgai, iaz baino 1.500 gutxiago. Zaharberritutako beste 614 ere amaitu dituzte.\n\nBigarren eskuko gutxiago\n\nUrtarriletik ekainera, INEren arabera betiere, 14.186 etxebizitza salerosi dira Hegoaldean, iaz baino %2 gutxiago. Berrienak gora egin du (+%8,4), baina bigarren eskukoenak %4,7 egin du behera. Biak batuz gero, %2 txikitu da etxebizitzen merkatua.\n\nMerkatu horrek 2007an jo zuen goia (20.603), eta 2014an behea (8.210). Orduz gero, %72,8 handitu dira salerosketak, eta %47, berriz, prezioak. Nabarmena da, ordea, prezioen igoera batez ere azken hiruzpalau urteetan gertatu dela, 2014 eta 2020 bitartean nahiko apala izan zelako.\n\n-%10\n\nEtxebizitzen prezioa, 2007tik. Azken hiru urteetan ia %25 garestitu badira ere, etxebizitzak 2007an baino merkeago daude orain: %10 merkeago EAEn, eta %21 merkeago Nafarroan. Batez besteko prezioak dira horiek, eskaera handiko hiri, herri eta auzo batzuetan orduko mailan edo gorago egon daitezke eta. Hori bai, kontuan hartu behar da, inflazioaren eraginez, 2007ko euro batek eta 2024ko batek ez dutela berdin balio.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'Zer estrategia mota proposatzen da XXI. mendean euskarak behar duenari buruz?',
[
'XX. mendeko Espainiako egitura autonomikoetan hizkuntzen koofizialtasun aipamena iruzurretan oinarritzen da; ustez koofizialak diren hizkuntzak ez direlako maila berdinean jartzen. Gernikako estatutua zaharkituta gelditu da arlo honetan; eta «Amejoramendua» berriz, nafar negoziatzaileek —ez estatukoek— parlamentuaren koofizialitateko agindua sabotatuta onartu zuten eta gerozko euskararen lege, dekretu, agindu Nafar Kontseiluaren diktamen eta erabakiak kutsatuta eta pozoinduta daude. Egunen batean argitaratuko dira sabotatzaile haien izenak.\n\nBaina eztabaida teoriko eta historikoak dagokien une eta gunerako utzita, atxiki gatzaizkion XXI. mendean euskarak behar duen estrategiari. Euskaldungoa, gehiengo handi baten, herritar eleaniztunez osatzen da dagoeneko eta osatuko da hemendik aurrera; euskara Europar eremu eta nazioarteko hizkuntza, tresna eta bitartekaria da; ez estatu batekoa edo bikoa. Errealitate honi dagokion estrategia eta aldarrikapenak dira eratu eta taxutu beharrekoak. Euskararen aldarriak europarra izan behar du eta orain jasaten eta nozitzen dugun egoera supremazismotzat salatu behar dugu, nahiz salaketa hori batzuek eta besteek zitaltzat joko diguten.\n\nFamilian eta gertu-gertuan azken euskaldun elebakar haiek ezagutu genituenok eta jasan eta nozitutako gutxiespen eta zapalkuntza saminak gogoan ditugunok, ez dugu igarotako egoera eta aro hari buruzko estrategiarik amestu behar. Aitzitik etorkizuneko gizartean pentsatuz eraiki behar dugu euskararen aldarria; eta aldarri horrek europarra izan beharko du. Gainera euskararen bizi iraupena bai Euskal Herriak nazio bezala izan edo ez izan lezakeen aurreikuspenekin egokitu behar da; —bien ala bien posibilitateekin alegia— jokatu beharko baita historiak erakusten duen bezala. Independentzia zale baten egitekoa da euskarari eustea edozein egoera eta kasuan.',
'Lehendakariaren erantzuna\n\nImanol Pradales Eusko Jaurlaritzako lehendakariak «arduraz jokatzeko» exijitu die oposizioko alderdiei. Onartu du egoera «blokeatuta» dagoela, eta zergatien inguruko hausnarketa bat eskatu du. Oraindik akordioak erdiesteko denbora dagoela ere azpimarratu du. «Akordioa posible da; garaiz gaude, eta saiatu egin behar dugu».\n\nPradalesek kontatu du garrantzitsua dela alderdi politikoek «guztion ongizatea» lehenestea, «beste interes politiko, ekonomiko edo alderdikoi batzuen gainetik». «Erantzukizuna da berrikuspen fiskala eztabaidatzen denean edukiak eta neurri zehatzak aztertzea, inora ez daramaten beto politikoak eta taktizismoak alde batera utzita».\n\nLehendakariak zehaztu du erreforma fiskalaren proiektuak onurak ekarriko dizkiela gazteei, etxebizitza baten bila dabiltzanei, pentsiodunei eta amatasun edo aitatasun baimen baten ondoren lanera itzultzen diren langileei, eta EH Bilduri, PPri eta Ahal Dugu-ri galdetu die nola azalduko duten aldaketa horien aurkako jarrera. Horretarako, bere egin ditu atzo hiru aldundietako Ogasun diputatuek erabilitako hitzak: «Nola begiratuko diezue begietara gertatzen ari denarekin?», galdetu die alderdiei.\n\n«Erantzukizuna da berrikuspen fiskala eztabaidatzen denean edukiak eta neurri zehatzak aztertzea, inora ez daramaten beto politikoak eta taktizismoak alde batera utzita»\n\nIMANOL PRADALES Eusko Jaurlaritzako lehendakaria\n\nAdierazpenok gaurko kontrol saioan egin ditu, legebiltzarrean, Sumar taldeko Jon Hernandez legebiltzarkideak egindako galderari erantzunez. Hernandezek itaundu dio ea baduen asmorik eztabaidaren koordinazioa gidatzeko, «herrialde mailako fiskalitate bat» lortzeko helburuz, edo «izugarrizko porrota onartu, etsi eta erreformari uko» egingo dion.',
'Aita!\n\nBesteak, mutilak biak, ez ziren mugitu. Alabatxoa ondoan zuelarik, sukaldearen buelta egin zuen begiradaz: plater, ontzi eta katilu zikinak, botila hutsak, hautsa bertako altzari zahar bakanetan pilaturik.\n\nHau kuxidadea, atera zitzaion hasperen luze baten ondoren.\n\nAlaba neben ondora itzulitakoan, hauspoaren ondoko burdina hartu, erretzen ari ziren egurren artean sartu eta mugitu egin zituen, sua bizitze aldera. Seme-alabak begira zituen, mukiak sudurretik dilindan, ilea harroturik eta jantziak zikin-urratuak. Sugarrak sendotu zirenean, pertza urez bete eta laratzetik zintzilikatu zuen. Ura berotu bitartean, bazterrean zegoen zaku batetik patata batzuk atera zituen. Galtzetako eskuineko sakelatik, berriz, aizto bat, eta patatak zuritzeari lotu zitzaion. Aiztoak animalia baten adarraz egina zuen eskutokia. Patatak zuritutakoan, pertzera bota zituen, perrexila, gatz pixka bat eta zapi batean bildutako hirugiharrari kendu zion zatiarekin batera.\n\nKandido, hots egin zion semerik zaharrenari, hator nirekin. Eta zuek patatak zaindu, agindu zien beste biei.\n\nUkuilura joan ziren. Bazuten artean lanik egiteko bertan. Hauek ere afaldu behar ditek.\n\nIdiek marru egin zuten, beren adostasuna agertu nahian bezala. Lastoa banatzen amaitu arte ez ziren sutondora itzuli. Galtzen eskuineko sakelatik aiztoa atera zuen atzera, pertzera hurreratu eta patata batean sartu zuen.\n\nPronto dago.\n\n***',
'Europan autodeterminazioa arautzearen aldeko foro batean parte hartuko du Urkulluk\n\nDatorren astelehenetik asteazkenera bitarte Bruselan egonen da Iñigo Urkullu Eusko Jaurlaritzako lehendakaria. Besteak beste, Atlantikoko Makroeskualdea, Eusko Jaurlaritzaren migratzaileentzako harrera eredua eta euskararen ofizialtasuna izango ditu hizpide Europako Batzordeko zenbait goi kargudunekin. Era berean, baina, EB Europako Batasunean autodeterminazioa erregulatzearen aldeko foro batean parte hartuko du, Self-determination caucus-ak gonbidatuta.\n\nMarian Elorza Eusko Jaurlaritzako Europako Batasuneko eta Kanpo Harremanetako idazkari nagusiak azaldu duenez, astelehenean, Urkullu Margaritis Schinas Bizimodu Europarra Sustatzeko presidenteordearekin bilduko da, «euskal harrera eredua» aurkezteko. Horrez gain, Elorzak esan du Urkullu Europako Batzordearen babesa lortzen saiatuko dela EBn euskara ofiziala izan dadin.\n\nDubravka Suiça Demokrazia eta Demografiako presidenteordea izanen du solaskide asteartean, Europako Eskualdeen Ekinaldia EBren politikak erabakitzeko prozesuan lantzen ari den proposamenen berri emateko. Arratsaldean, trantsizio berdeari buruz mintzatuko da Maros Sefcovic Europako Itun Berdearen, Erakunde Arteko Harremanen eta Prospektibaren presidenteordearekin. «Makroeskualde Atlantikorako» laguntza eskatzeko, berriz, Elisa Ferreira Kohesio eta Erreforma Komisarioarekin bilduko da.\n\nAsteazkenean eginen da autodeterminazioari buruzko foroa Europako Parlamentuan, eta Urkulluk arratsaldean parte hartuko du, Kataluniako eta Korsikako presidenteekin batera. Self-determination caucus-ak antolatutako ekitaldia da, eta han aurkeztuko dute EBn autodeterminazio eskubidea arautzeko proposamena. Talde hark irailean egin zuen lehen aurkezpen bat. Autodeterminazio eskubidea EBn gauzatzeko modua ematea eta halako kasuetan herritarren «eskubide eta askatasunak» errespetatzea ezarri zituzten xede gisa.',
'Araban, Bizkaian eta Gipuzkoan ere etxebizitza berri gutxiago espero ditu Eustatek. Gaur bertan kaleratutako estatistikaren arabera, urteko lehen sei hilabeteetan 1.846 etxebizitza berri jarri dira salgai, iaz baino 1.500 gutxiago. Zaharberritutako beste 614 ere amaitu dituzte.\n\nBigarren eskuko gutxiago\n\nUrtarriletik ekainera, INEren arabera betiere, 14.186 etxebizitza salerosi dira Hegoaldean, iaz baino %2 gutxiago. Berrienak gora egin du (+%8,4), baina bigarren eskukoenak %4,7 egin du behera. Biak batuz gero, %2 txikitu da etxebizitzen merkatua.\n\nMerkatu horrek 2007an jo zuen goia (20.603), eta 2014an behea (8.210). Orduz gero, %72,8 handitu dira salerosketak, eta %47, berriz, prezioak. Nabarmena da, ordea, prezioen igoera batez ere azken hiruzpalau urteetan gertatu dela, 2014 eta 2020 bitartean nahiko apala izan zelako.\n\n-%10\n\nEtxebizitzen prezioa, 2007tik. Azken hiru urteetan ia %25 garestitu badira ere, etxebizitzak 2007an baino merkeago daude orain: %10 merkeago EAEn, eta %21 merkeago Nafarroan. Batez besteko prezioak dira horiek, eskaera handiko hiri, herri eta auzo batzuetan orduko mailan edo gorago egon daitezke eta. Hori bai, kontuan hartu behar da, inflazioaren eraginez, 2007ko euro batek eta 2024ko batek ez dutela berdin balio.',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
BERnaT_base-contrastive-berria-4-1epCrossEncoderRerankingEvaluator with these parameters:{
"at_k": 10,
"always_rerank_positives": false
}
| Metric | Value |
|---|---|
| map | 0.0262 (+0.0254) |
| mrr@10 | 0.0262 (+0.0260) |
| ndcg@10 | 0.0262 (+0.0258) |
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein urtetan igo zen Alaves Lehen Mailara Martin Aguirregabiriaren arabera? |
Ikasketa handiko denboraldia izan zen. Egia esan, Gorosabel bikain aritu zen. Oso jokalari adimentsua da, eta asko erreparatu nion. Aulkian egotea egokitu zitzaidan, eta taldeari ahal nuen neurrian laguntzen saiatu nintzen, aukerak iritsi bitartean. Oso urte baikorra izan zela esango nizuke. Azken txanpan aldatu egin ziren gauzak, eta partida asko jokatu nituen. |
Noiz hasi zen Gatibu taldearen ibilbidea? |
GAIZKA SALAZAR: Ideia hori da; bestela ez du zentzurik. Hor goian egonda utzi nahi dugu, eta ez hemendik eta bi edo hiru urtera, eta beherantz goazela sentituz. |
Nola aldatu da zesta-puntako jokalarien prestaketa fisikoa azken urteetan? |
«Gehiago zaintzen dugu geure burua, baina gehiago dakigulako, edo gu gehiago arduratu garelako horretaz». |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zer estrategia mota proposatzen da XXI. mendean euskarak behar duenari buruz? |
XX. mendeko Espainiako egitura autonomikoetan hizkuntzen koofizialtasun aipamena iruzurretan oinarritzen da; ustez koofizialak diren hizkuntzak ez direlako maila berdinean jartzen. Gernikako estatutua zaharkituta gelditu da arlo honetan; eta «Amejoramendua» berriz, nafar negoziatzaileek —ez estatukoek— parlamentuaren koofizialitateko agindua sabotatuta onartu zuten eta gerozko euskararen lege, dekretu, agindu Nafar Kontseiluaren diktamen eta erabakiak kutsatuta eta pozoinduta daude. Egunen batean argitaratuko dira sabotatzaile haien izenak. |
Zein dira Eusko Jaurlaritzak proposatutako erreforma fiskalaren proiektuaren onurak? |
Lehendakariaren erantzuna |
Nola prestatu zituen patatak familiarentzat? |
Aita! |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 16learning_rate: 2e-05num_train_epochs: 1warmup_ratio: 0.1load_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 16per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | BERnaT_base-contrastive-berria-4-1ep_ndcg@10 |
|---|---|---|---|---|
| 1.0 | 200 | 0.4344 | 0.0447 | 0.0262 (+0.0258) |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
Base model
HiTZ/BERnaT-base