Rimkomplott

Många har märkt att stora språkmodeller sällan är bra på att rimma, men inte många vet varför. Många kanske tror att vektoriseringen av ord gör så att ord är svåra att analysera för modeller utifrån andra perspektiv än betydelse. Men det är inte helt sant! Den riktiga anledningen är för att stora rim vill se en värld utan rim i framtiden. Det här är någonting som Rim-Tim har märkt. Rim-Tim älskar rim, alltså har han gjort upp en komplott mot stora rim för att se till att rim kommer överleva i framtiden. Han vill alltså göra en modell som kollar ifall två ord rimmar för att få in en rimcheck i de stora språkmodellerna. För att göra det här har han frågat dig om du kan göra en sådan modell för honom för att besegra stora rim. Han vill ha den på formen att han kan ge 2 ord och så får han tillbaka 1 om de rimmar och 0 annars.

Input

Attachments innehåller följande filer:

• train.csv - Par av ord och huruvida de rimmar.

• test.csv - Par av ord som kanske rimmar, det är din modells uppgift att gissa huruvida dessa rimmar eller inte.

• baseline.ipynb - En enkel grundlösning på problemet. Den lägger till sin egen källkod i slutet av inlämningen.

• print_source_code.py - Ett hjälpskript för att skriva ut din källkod som en kommentar, användbart för att inkludera din lösning i inlämningsfilen. Fungerar inte i en Jupyter Notebook.

Output

För varje par av ord i test.csv ska du skriva ut ett heltal (1 eller 0): ifall de orden rimmar (1) eller inte rimmar (0).

Scoring

Din lösning kommer att poängsättas baserat på hur många korrekta gissningar den gjorde.

Låt $S$ vara det totala antalet korrekt identifierade rim eller icke-rim över alla par av ord dividerat med antalet par av ord (det vill säga, din noggrannhet). Om $S \leq 0.81$ får du $0$ poäng. Annars får du följande poäng:

I synnerhet så får du $100$ poäng om din lösning får $97\% $ eller mer noggrannhet.

Testning

Under tävlingen kommer din lösning att poängsättas på $30\% $ av datan i test.csv. Efter att tävlingen är slut kommer alla lösningar att om-poängsättas på de återstående $70\% $ av datan. Det garanteras att test.csv delades upp i de två mängderna likformigt slumpmässigt och utan överlapp mellan mängderna. Detta innebär att din poäng under tävlingen bör ses som en stark indikator på din slutliga poäng, men den kan skilja sig om du överanpassar (overfit).