Topic: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained? (Read 13333 times)

RK_aus_S · « **on:** 14 February 2019, 13:00 »

Yes, I'm quite new with ClrMamePro, and my questions are possibly silly (therfore the suitable avatar... ;-) - sorry for that in advance.

I've downloaded a MAME 0.78 romset with about 4800 zip files. I created a Profile with an appropriate DAT-File and scanned and rebuilded this romset source a few times with different settings. But no matter if I choose "Non-merged sets" or "Split sets"; after lettings CMP running over this 4800 files, only about 1715 files remained, the rest was moved to the backup folder of CMP. Fore sure I do something wrong or I have a misunderstandig. But where?

My goal is the following: meanwhile I have about 10 MAME 0.78 romsets, some with over 1000 zip files some with over 4000 zip files. I wish I could say "hey ClrMamePro, this are 10 directories with romsets - make ONE Non-merged romset for me and delete (backup) all the rest". Quite sure CMP is exctly for that, but I have no idea how to do that...

Regards
Roman

Roman · « **Reply #1 on:** 14 February 2019, 13:10 »

1) current MAME is .206, .78 is about 15 years old...and full of outdated, partly bad rom dumps ...there is no need to use such an old version..and compared to today, most likely most of the stuff doesn't match anymore.
2) you don't really want to use non-merged sets. full or split merge is the way to go
3) the rebuilder is a file based operation, not a set based one. It takes a file from the source (or a file from an archive within the source), calculates a hash and compares that against the loaded database. If there is a match, it will add/create all found instances in the destination, using the correct naming there.
So if you think the rebuilder did not do its job correctly (which is unlikely), you better check which database is loaded or look at the rebuilder log to see what is skipped or rebuild....
4) the scanner can be used to check what is wrong with your collection and it will fix renames etc.

So...if you really want to go with .78, ensure that you're also using a .78 datfile (or .78 mame executable to import the data from).

RK_aus_S · « **Reply #2 on:** 14 February 2019, 13:30 »

Thanks a lot, Roman.
1) I use Recalbox, and they recommend MAME 0.78 (as well as MAME 0.187 for fba_libretro)...
2) ...and the Recalbox guys recommend in there Wiki "Non-merged" sets as well.
3) I loaded a MAME 0.78 dat file for sure (that one Recalbox provides in the appropriate MAME direcotry) - and I tried a altnernate one (provided from the RetroPie environment/guys) as well. Looking at the log file of the rebuilder is a good hint, maybe it solves something...

Thank you for the explanation of CMP, that's about what I expected; it's all about the DAT file against which CMP compares all the content - and approves it or not.

Roman · « **Reply #3 on:** 14 February 2019, 13:49 »

well...a quick test would be to look at one set which is not regenerated by the rebuilder at all....get the hashes of the single files (the actual rom files, not the set archive file) and lookup that value in the datfile. If it's not there, you can be rather sure that either the files or the dat is wrong ;-)

So...maybe give one concrete example (filename, hash values) here in the forum and I can try to figure out what's going on

f205v · « **Reply #4 on:** 14 February 2019, 15:45 »

If i may step in, the best way to have a "certified" mame 0.78 dat file is to start from the official mame executable that you can download from the official mamedev webpage: https://www.mamedev.org/oldrel.html

Once loaded in clrmame, go to rebuilder and set as source the directory where the 10 downloaded romsets are, set as destination the appropriate rompath for your recalbox setup, and let it run.
What you will have at the end will be the best possible correct set for mame 0.78
If you are still missing something, I suggest you look for some "roll-back" rom sets, They usually contain the wrong roms that have been removed from mame from one version to the newer one.

Last thing: go for split, this is how 99% of mame user do it, and it works. Full merged only makes sense to reduce the total number of files, unmerged only makes sense in few very exotic cases, too scarce to mention.

RK_aus_S · « **Reply #5 on:** 14 February 2019, 18:56 »

Thank you both - Roman an f205v - very much.

Roman, it seams you were right with the point that my 0.78 DAT file must be the issue! It was the issue, and that twice! Shame on me.

Now, I downlaoded the DAT file from Herb Fargus https://github.com/HerbFargus/retropie-dat/archive/master.zip - and that seams to work.

Next, I will try f205v's tipp to get the "ceritfied" dat from the mame executable.

But may I ask you both some further questions?:

1. If I don't know if my downloaded romsets are non-merged or split; is it possible to create a split set from a non-merged source and vica-versa?

2. When I provide ClrMamePro my 10 romsets (or even more), is it better to add 10 paths in CMP, each romset in its own path, or can I move all romsets in single directory and provide CMP one path? Makes it a difference at all?

3. To get my ultimate romset from my 10 romsets, should I first use the scanner or the rebuilder, or do I need both in every case?

4. When CMP reports some wrong or missing files at the end of a scan/rebuild, what should I do with this info? I mean is this info somehow saved for later usage someday to complete my ultimate romset from further romsets which I found?

I hope I'm not boring you with my beginner questions ... $:-\$

Kind regards
Roman
Switzerland

f205v · « **Reply #6 on:** 14 February 2019, 19:07 »

Hi, my fellow Swiss brethren!

1) you don't care about the downloaded romset format. CLRMAME will look into each single file to find a good match, so no need for you to know in which format they are.
2) put all of them in a single folder (or subfolders inside a single folder). I have a d:\unsorted folder where I put everything I ever download, and that is the source for my clrmame setup.
3) I usually do scan+rebuild+scan, but you can also do a scan followed by a drag/drop of "unsorted" onto the scanner result window. clrmame will recognise it and rebuild/rescan from there.
4) wrong files are usually moved to backup folder if you enable "fix" in the scanner. Missing files are missing and you need to find them on the internet, put them into "unsorted" and let clrmame do its magic!
CLRMAME saves a few log files (miss, have, complete log) and also a "fixdat" file for exchange with other collectors that can in this way just give you only what you are really missing and not full collections and also a "fastscan" hash that will enable it next time to only scan for missing/wrong, greatly reducing the total scan time.

RK_aus_S · « **Reply #7 on:** 14 February 2019, 19:20 »

Oh, Swiss brethren.

3) What, if I throw all downloaded romsets in a folder (as you recommended), set this folder as source and let the rebuilder walk over it? I mean, I get my "ultimate" romset in the destination folder - and that's all I want. Why you recommend scan+rebuild+scan? Are the results different?

f205v · « **Reply #8 on:** 14 February 2019, 20:00 »

well, it really depends on what you are trying to achieve.
If you start from a clean slate, and just need to create a "best" set for you mame0.78 from an assorted collection of random junk, just rebuild (and scan if you are curious about the final result, but the rebuild is the only part doing something)
If you start from an already existing collection, and want to UPDATE it to a newer release (imagine a situation when you want to upgrade from your 0.78 to something newer like 0.206) then you load in clrmame the new executable (or its datfile), point it to your existing collection, scan (with fix enabled to correct all issue with names, wrong placed files, etc.) then rebuild. (Then scan again if you are curious, but it will do nothing to the collection). In this second instance you can also act a little bit differently (but it's slower!): move your existing collection into the "unsorted" folder so you will have an empty destination folder, and just rebuild: it will be the same as in the first instance.

RK_aus_S · « **Reply #9 on:** 14 February 2019, 21:08 »

Thanks.
I try to follow your suggestions as good as I can, but to be honest, ClrMamePro is not easy to understand for a beginner like me, even if it is as well explained by you. The fact that the whole thing takes place in English does not make it any easier for me either...

Is there any possibility to continue our discussion in German? (Maybe by email, Skype or whatever?)

Roman · « **Reply #10 on:** 15 February 2019, 05:58 »

klar koennen wir deutsch reden.....

RK_aus_S · « **Reply #11 on:** 15 February 2019, 10:26 »

Ok, ab jetzt in deutsch.

Folgende Fragen habe sich angehäuft:

1. Wenn ich auf Split-Sets umstelle, wie sehe ich dann einem einzelnen ROM.zip an, ob es noch weitere PARENTS.zip braucht? Oder kopiert jedermann in der Regel eh gleich das komplette ROMset auf seine Retro-Maschine und kümmert sich gar nicht um Parent/Child-Abhängigkeiten?

2. Ich tue mich immer noch schwer mit dem Unterschied zwischen einem Scan+Fix und einem Rebuild. Ich habe jetzt mal alle meine heruntergeladenen ROMsets in einen Ordner geworfen und diesen im Rebuilder als Source angegeben, danach habe ich 2 Rebuilds durchgeführt; einer mit "Split" und einer mit "Non-merged". Das hat wunderbar geklappt; habe jetzt zwei (Destination-Folder-)ROMsets mit 4217 Dateien (split) bzw. 4720 Dateien (non-merged) - das Split-ROMset ist ca. 8 GB gross, das Non-merged-ROMset ca. 14 GB. Der Source-Folder blieb unverändert und Backups mussten auch keine angelegt werden.
Wenn ich jetzt, wie f205v meint auf eine höhere ROMset version wechseln möchte, dann könnte ich ja genau wieder gleich Rebuilden, einfach mit einer entsprechend höheren DAT-File-Version, oder?

Grüsse
Roman

f205v · « **Reply #12 on:** 15 February 2019, 10:48 »

I leave both Romans to talk in their native language: unfortunately my German is extremely limited, just the barely minimum to survive north of the Alps

f205v · « **Reply #13 on:** 15 February 2019, 11:00 »

Sorry, I could not resist the urge to answer anyway!

Regarding your first question, if you want to have on your retro cabinet just a very limited selection of games, just go for non-merged. This is what I do on my cabinet, where just 50 games are kept. With non-merged you do not need to care about parent/clone relationship, because every single .zip file will contain all needed roms for that game. Nevertheless you will still need to pay attention to BIOSes and DEVICEs file: depending on the games you will put on your retro cabinet some of them may be needed.
Alternatively, move a full set to your cabinet, make it split or fully-merged and forget about any parent/clone/bios/device: a full set is full by definition (when you get everything green in clrmame result window)

Regarding your second question, when you want to update to a newer MAME version, there are a few alternate roads; the easiest one it to load in clrmame the new mame executable, point it to your already existing set, scan it with all fixes enabled and you will get the best possible collection based on the roms you have. For what is missing after this procedure, you need to find them on the internet, and rebuild+scan or drag/drop on result window.

RK_aus_S · « **Reply #14 on:** 15 February 2019, 11:26 »

f205v: First of all; I expected naturally that you speak german, because of your "Hi, my fellow Swiss brethren!". Sorry about that, it's not our intention to exclude anyone from this thread, especially if someone delivers as valueable and patient answers like you.

So let's just agree on "multi-cultural"; everyone is talking (in this thread) how he does it best, ok?

Ich denke, die Sache mit "Split" und "Non-merged" ist für mich einigermassen beantwortet, nebst ein paar kleinen Fragen auf die ich ggf. später zurückkommen werde.

Betreffend "Scan+Fix" und "Rebuild" stehe ich extrem auf der Leitung, darum stelle ich meine Frage mal anders herum:
Kann ich mit "Scan+Fix" irgend etwas machen, was mit "Rebuild" unmöglich zu erreichen ist? Und umgekehrt?

Roman · « **Reply #15 on:** 15 February 2019, 12:07 »

1) einem Splitset sieht man erstmal gar nicht an ob es ein Clone- oder ein Parentset ist. Das weiss man eigentlich nur wenn man sich die Dateien anschaut und mit dem Datfile vergleicht. Split Sets sind halt sehr verbreitet, da man dadurch a) jedes Set als Datei vorliegen hat (bei full-merged sets hat man ja nur noch das Parentset in dem alle Clones mit reingepackt werden) und b) trotzdem einen Speicherplatzgewinn hat, da die Clonesets ja nicht nochmal die Dateien verwendet, die mit dem Parentset uebereinstimmen.
"unmerged" verwendet eigentlich niemand....
Die Frage ist im Wesentlichen, was der verwendete Emulator denn unterstützt. Ja es gibt wahrscheinlich Emulatoren, die Parent/Clone Beziehungen gar nicht zulassen und Sets benötigen wo im Setarchiv jede Datei vorhanden ist. MAME ist es eigentlich egal, da der ROM loader alle ROM Pfade durchsucht und sowohl im Parent- als auch im Cloneset nach passenden Datein sucht. MAME sucht sich also alles zusammen...und schau auch nicht auf Dateinamen, sondern schaut nach File Hashes.
Wenn du jetzt irgendeine Retropie Version (oder aehnliches) verwendest...tja...ich weiß es ehrlich gesagt nicht, welches Format die Version dann unterstützt...muss man herausfinden.
Der Trend bei den MAME-maniacs geht halt eh dahin alle Sets zu haben....da stellt sich die Frage nicht ;-)

2) Scanner, das Hauptwerkzeug. Der Scanner untersucht deine Sets, entdeckt ob Dateien fehlen, ob Dateien umbenannt werden müssen, etc etc...Die Baumansicht des Scanner Outputs ist *die* Information die du brauchst um zu sagen, dass deine Sammlung ok ist oder nicht. Kein Eintrag zu sehen, gut, dann gibt es keine Fehler (bezogen auf die gesetzten Scaneinstellungen). Wenn man die Fixoptionen des Scanners aktiviert versucht clrmamepro Fehler auch zu beheben. Bei Dateiumbenennungen ist das kein Problem, bei völlig falschen Dateien natuerlich schon, denn clrmamepro kann ja nicht einfacht auf wundersame Art und Weise Dateien herbeizaubern. Der Scanner gibt dir detaillierte Informationen über den Zustand deiner Sets.
Der Rebuilder ist dagegen dateibasierend. Dem Rebuilder geht es nicht darum eine Aussage über Sets zu machen, schon gar nicht Fehler aufzuspüren oder zu beheben. Dem Rebuilder ist es auch egal, ob Sets komplett sind oder nicht. Er erzeugt keine kompletten Sets (er kann, er muss aber nicht).
Der Rebuilder ist ein Modul welches dir hilft unbekannte, falsch benannte Dateien, sprich eine große Menge Schrott, einfach mal ausmisten zu lassen. Er liest eine Datei (!, nicht Set) aus dem Quellverzeichnis, berechnet CRC32/SHA1 Werte und vergleicht diese dann mit der Datenbank (Datfile). Wir er fündig, werden alle Treffer im Zielverzeichnis erstellt (zu Archiven hinzugefügt). Dort wird der richtige Name verwendet. Sprich, wenn z.B. eine Datei von 300 Sets verwendet werden sollte, werden alle diese 300 Sets erzeugt...aber sie enthalten dann erstmal auch nur diese eine Datei.
Der Rebuilder wird auch gerne verwendet um bestehende Sammlungen zu durchsuchen und Dateien fuer einen anderen Emulator zu erzeugen. Sprich man lädt ein Datfile für Emulator X, hat aber Sets für Emulator Y, dann lässt man einfach mal den Rebuilder über diese Sets laufen und schaut, welche Dateien aus der Y Sammlung zu X passen.
Hauptsächlich ist der Rebuilder praktisch um neue Dateien seiner Sammlung hinzuzufügen. Der Scanner kann das über fix-missing, aber hier ist der Rebuilder im Vorteil (schneller, andere Voraussetzungen, einfach Drag'n Drop in den Scanner).

Ein übliches MAME update ist in etwa so:

1) man hat eine vollständige MAME Sammlung und nun kommt eine neue MAME Version raus. Sollte man ein MAME Profil basierend auf der MAME.EXE Datei haben, erkennt clrmamepro automatisch, dass ein Update vorhanden ist und importiert die neuen Daten
2) Als ersten sollte man den Scanner laufen lassen, da dieser alle möglichen Fehler behebt. Danach sollte man eigentlich nur noch fehlende Dateien haben (nämlich die, die durch das MAME update hinzugekommen sind), ggf. sind auch noch Dateien vorhanden, die durch die neue Version komplett ersetzt werden (z.B. redumps)
3) Hat man die neuen Dateien gefunden, kann man jetzt den Rebuilder verwenden um sie hinzuzufügen (dabei zeigt Rebuilder Destination auf den Rompath). Man kann die Dateien einfach via Drag'n Drop in den Scanner schmeißen...und den Scanner auch so einstellen, dass er nach dem Rebuild automatisch neu scannt.
4) man wiederholt 3 bis man keine fehlenden Dateien mehr angezeigt bekommt.

f205v · « **Reply #16 on:** 15 February 2019, 13:19 »

@RK_aus_S: I'm from Tessin, Italian main language. I can understand German reading (with a little bit of google translate help), but speak very little and write nothing.

Roman answer is perfect as usual. clrmame needs a little bit of training, but after using it for a while you will feel confident and soon you can not live without it for your ROMs collection!

RK_aus_S · « **Reply #17 on:** 15 February 2019, 14:51 »

f205v: In deed I forgott that there are Swiss citizens who do not have German as native language...

Roman: Vielen Dank, jetzt ist mir zum ersten Mal einiges viel klarer. Der Groschen ist sozusagen (so gut wie) gefallen. Inzwischen habe ich mal einen Scan über einen Rebuild-Output laufen lassen, und das Resultat sieht gar nicht so übel aus. Allerdings erschliessen sich mir nicht alle Punkte in dieser Statistik, und ich habe in den Docs auch nicht gefunden, was einem die Punkte im Einzelnen sagen wollen.

Ich hab' mal grün angemalt was ich meine zu verstehen, und rot was ich irgendwie nicht kapiere:

Missing
·Sets 0/4720
·ROMs 0/70763
·CHDs -/30
·Samples 0/2010
·Bytes 0/28gb

Fixed Wrong Case
·Sets 0/0
·ROMs 0/0
·CHDs -/-
·Samples 0/0

Fixed Unneeded
·Sets 0/0
·ROMs 0/0
·CHDs -/-
·Samples 0/1

Fixed Wrong Name
·Sets 0/0
·ROMs 0/0
·CHDs -/-

Fixed Wrong Size
·ROMs 0/0

Fixed Wrong Date Time
·ROMs 0/0

Wrong Hashes
·Wrong CRC32 ROMs 0
·Wrong SHA1 ROMs 0
·Wrong MD5 ROMs 0
·Wrong SHA1 CHDs -
·Wrong MD5 CHDs -

Corrupt Containers 0

---------------------------------------

Active Sets 4720/4720
·Parents 1042/1042
·Clones 2039/2039
·Others 1624/1624
·BIOS 15/15

Active ROMs 70763/70763
·Parents 15995/15995
·Clones 32968/32968
·Others 21425/21425
·bad dumps 148/148
·no dumps 177/177
·verified dumps 0/0
·BIOS 50/50

Active CHDs 30/30
·Parents 5/5
·Clones 5/5
·Others 20/20
·bad dumps 0/0
·no dumps 0/0
·verified dumps 0/0
·BIOS 0/0

Active Samples 2010/2010
·Parents 376/376
·Clones 1309/1309

Active Bytes 28gb/28gb

Kann man irgendwo nachlesen, was es mit all diesen "Active"-Sachen auf sich hat?

Roman · « **Reply #18 on:** 15 February 2019, 17:31 »

der rote Anteil entspricht dem Abschnitt der die generelle Anzahl der einzelnen set/file Typen auflistet...
Sprich...es gibt 4720 sets, von denen du 4720 auch "eingeschaltet" hast...die Sets beinhalten 1042 Parent sets...usw..

Unter uns: du brauchst keine Statistiken ;-) Wie gesagt...wenn die ScanResults Baumansicht nichts listet bist du fertig....

RK_aus_S · « **Reply #19 on:** 16 February 2019, 11:51 »

Quote

Unter uns: du brauchst keine Statistiken ;-) Wie gesagt...wenn die ScanResults Baumansicht nichts listet bist du fertig....

Ja, vielleicht will ich es manchmal zu genau wissen.

Ich habe mich jetzt mal um die CHD's gekümmert (wenn ich auch nicht sicher bin, ob es diese zum Spielen wirklich braucht?). Gemäss einem anderen Thread hier im Forum habe ich alls CHD's die ich habe in ein eigenes Verzeichnis kopiert und dieses Verzeichnis in den Settings als zusätzlichen ROM-Path hinzugefügt. Im Scanner Dialog habe ich dieses mal natürlich CHD zum scannen aktiviert, bei <Check hab' ich alles ausgewählt, bei Fix> habe ich nur Unneeded + Name ausgewählt.

Das Resultat verwirrt mich ein wenig (siehe Attachement); die Statistik sagt es fehlen 4 von 30 CHDs, aber der Scan Result sagt, dass fast alle CHDs die falsche Version haben?

News:

Author Topic: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained? (Read 13333 times)